CN112489129A - 位姿识别模型训练方法、装置、位姿识别方法和终端设备 - Google Patents
位姿识别模型训练方法、装置、位姿识别方法和终端设备 Download PDFInfo
- Publication number
- CN112489129A CN112489129A CN202011503576.1A CN202011503576A CN112489129A CN 112489129 A CN112489129 A CN 112489129A CN 202011503576 A CN202011503576 A CN 202011503576A CN 112489129 A CN112489129 A CN 112489129A
- Authority
- CN
- China
- Prior art keywords
- pose
- recognition model
- training
- rgb image
- point line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 135
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 210000003141 lower extremity Anatomy 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006399 behavior Effects 0.000 description 12
- 230000036544 posture Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 5
- 210000003423 ankle Anatomy 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本发明实施例公开了位姿识别模型训练方法、装置、位姿识别方法和终端设备，该训练方法包括：获取原始RGB图像；利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；将所述位姿点线图以区别于预定背景板颜色的目标颜色绘制在背景板上，以确定训练RGB图像；利用多个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。本发明的技术方案实现利用较少的训练RGB图像即可完成对位姿识别模型的训练，降低位姿识别模型的训练时间。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种位姿识别模型训练方法、装置、位姿识别方法和终端设备。
背景技术
随着深度学习技术的不断发展，越来越多人研究基于图像的行为识别方法，但是，RGB图像极易受到背景噪声的干扰，当背景发生变化时会导致利用该数据训练出来的模型识别精度急剧下降，同时基于图像的行为识别方法对数据量的要求也比较大，一般需要庞大的数据量才能训练出来一个较为鲁棒的模型。
发明内容
鉴于上述问题，本发明提出一种位姿识别模型训练方法、装置、位姿识别方法和终端设备。
本发明的一个实施例提出一种位姿识别模型训练方法，该位姿识别模型训练方法包括：
获取原始RGB图像；
利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；
将所述位姿点线图以区别于预定背景板颜色的目标颜色绘制在背景板上，以确定训练RGB图像；
利用多个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。
本发明另一个实施例所述的位姿识别模型训练方法，在所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图之后，还包括：
根据所述位姿点线图中各个位姿关键点坐标的属性对各个位姿关键点坐标进行特征分类。
上述的位姿识别模型训练方法，所述将所述位姿点线图以区别于所述预定背景板颜色的目标颜色分别绘制在背景板上，包括：
将所述位姿点线图绘制在所述背景板上；
在所述背景板上，将同一特征类别中的位姿关键点坐标构成的点线标注为预设的同一颜色，各个特征类别中的位姿关键点坐标构成的点线标注颜色不同且与所述预定背景板颜色不同。
上述的位姿识别模型训练方法，在识别人体位姿时，所述特征类别包括头颈特征类别、手臂特征类别和下肢特征类别。
上述的位姿识别模型训练方法，所述预定背景板颜色为黑色，所述头颈特征类别、所述手臂特征类别和所述下肢特征类别中的位姿关键点坐标构成的点线依次标注为绿色、蓝色和红色之一。
上述的位姿识别模型训练方法，所述利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图，包括：
利用OpenPose人体姿态估计算法提取所述原始RGB图像的预设数目个关键点的位置信息；
根据预设数目个关键点的位置信息确定所述位姿点线图。
本发明的再一个实施例提出一种位姿识别模型训练装置，该装置包括：
原始RGB图像获取模块，用于获取原始RGB图像；
位姿点线图提取模块，用于利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；
训练RGB图像确定模块，用于将所述位姿点线图以区别于所述预定背景板颜色的目标颜色分别绘制在背景板上，以确定训练RGB图像；
位姿识别模型训练模块，用于利用多个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。
本发明的又一个实施例提出一种位姿识别方法，该位姿识别方法包括：
获取待识别的初始RGB图像；
利用预设的位姿点线图提取方法从所述初始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；
将所述位姿点线图以区别于所述预定背景板颜色的目标颜色绘制在所述背景板上，以确定待识别的点线RGB图像；
利用本发明实施例所述位姿识别模型训练方法训练获得的位姿识别模型确定所述点线RGB图像对应的位姿。
本发明实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的位姿识别模型训练方法或本发明实施例所述的位姿识别方法。
本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的位姿识别模型训练方法或本发明实施例所述的位姿识别模型训练方法。
本发明公开的位姿识别模型训练方法包括：获取原始RGB图像；利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；将所述位姿点线图以区别于预定背景板颜色的目标颜色分别绘制在背景板上，以确定训练RGB图像；利用多个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。本发明的技术方案各个训练RGB图像的背景颜色统一，且训练RGB图像上的位姿点线图仅仅包括关键部位的点线连接关系，与原有训练样本，即直接利用原始RGB图像作为训练样本相比，训练RGB图像可以有效降低原有训练样本的复杂度，实现利用较少的训练RGB图像即可完成对位姿识别模型的训练，降低位姿识别模型的训练时间。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明实施例提出的一种位姿识别模型训练方法的流程示意图；
图2示出了本发明实施例提出的另一种位姿识别模型训练方法的流程示意图；
图3示出了本发明实施例提出的一种位姿识别模型训练装置的结构示意图；
图4示出了本发明实施例提出的一种位姿识别方法的流程示意图；
图5示出了本发明实施例提出的一种18个关键点组成的位姿点线图的示意图；
图6示出了本发明实施例提出的另一种25个关键点组成的位姿点线图的示意图；
图7示出了本发明实施例提出的一种拥抱位姿点线图的示意图；
图8示出了本发明实施例提出的一种举手位姿点线图的示意图；
图9示出了本发明实施例提出的一种下蹲位姿点线图的示意图；
图10示出了本发明实施例提出的一种站立位姿点线图的示意图。
主要元件符号说明：
1-位姿识别模型训练装置；10-原始RGB图像获取模块；20-位姿点线图提取模块；30-训练RGB图像确定模块；40-位姿识别模型训练模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
身体位姿和手势位姿是人类之间进行表达与交流的重要方式，基于人体的行为识别也是人机交互的重要研究方向之一，在视频监控、体感游戏等领域发挥着重要的作用。人体行为姿态复杂多变，通常训练一个行为识别模型需要大量的人体行为数据。本发明提出了一种用于训练位姿识别模型的方法，从减少特征冗余、提高模型注意力的角度减少行为识别任务的训练数据量。进一步的，本发明主要解决的问题是：(1)人体行为复杂多变，通常存在背景等干扰因素，如果使用原始采集的RGB图像特征进行位姿识别，一旦场景发生改变，模型识别效果会急剧下降。并且，在实际应用过程中很难做到针对每个场景进行定制化设计，耗时耗力；(2)通常训练一个较为鲁棒的行为识别模型需要大量的数据，无法覆盖到所有的场景。
为解决上述问题，本发明提出了一种位姿识别模型训练方法，通过位姿点线图提取方法将原始的RGB图像转化为含有人体关键点特征的骨架图，即位姿点线图，通过将位姿点线图绘制在预设颜色的背景板上，实现对背景信息的解耦，同时提高模型对特征识别的专注度。
本发明包括以下关键步骤：
1)在数据预处理阶段，通过OpenPose位姿点线图提取方法，提取原始RGB图像的18个关键点的位置信息(横纵坐标)，并将其绘制于黑色背景图上，得到与原始RGB图像一一对应的包括位姿点线图的训练RGB图像。
2)在数据预处理阶段，将人体解耦为三部分，即头颈、手臂和下肢，因为区分不同行为依赖的人体部位是不同的。并将三个部分的点和线用不同颜色渲染。
3)在训练阶段，将渲染后的人体骨架图数据送入预设的卷积神经网络进行特征提取和训练。
实施例1
本实施例，参见图1，示出了一种位姿识别模型训练方法包括以下步骤：
S10：获取原始RGB图像。
可以理解，原始RGB图像上包括待识别的行为姿态或手势姿态。原始RGB图像的获取，可以通过图像采集设备采集获取，例如，摄像机、照相机、热图像采集设备等；还可以通过采集视频录像的多个视频帧的方式获取；还可以直接从存储有原始RGB图像的存储设备中导入，例如，存储设备可以是硬盘、U盘、PAD和笔记本等具有存储功能的电子设备。本实施例对于获取各个原始RGB图像的方式在此不做限定。
RGB图像也叫全彩图，其有三个通道，分别为：R(red)、G(green)和B(blue)。RGB即是代表红、绿、蓝三个通道的颜色，RGB标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
S20：利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图。
可以利用OpenPose人体姿态估计算法提取所述原始RGB图像的预设数目个关键点的位置信息；根据预设数目个关键点的位置信息确定所述位姿点线图。
OpenPose基于卷积神经网络和监督学习并以caffe为框架开发的开源库，可以用于人体动作、面部表情、手指运动等姿态估计。OpenPose可以从每一个原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图，即可以识别原始RGB图像中的各个人体关节点或人体关键部位，并输出各个人体关节点或人体关键部位的坐标。其中，预设数目可以是18和25中的一种。
示范性的，OpenPose提取的18个关键点，以坐标的形式表示，每一关键点对应一个特定的序号，每一序号对应一个特定的人体关键部位，如下表所示。
示范性的，OpenPose提取的25个关键点，以坐标的形式表示，每一关键点对应一个特定的序号，每一序号对应一个特定的人体关键部位，25个关键点与序号的对应关系如下表所示。
显然，利用所述预设数目个位姿关键点坐标和各个位姿关键点坐标对应的身体部位可以按照身体结构对各个关键点坐标进行对应的连接，确定位姿点线图。18个关键点组成的位姿点线图如图5所示，25个关键点组成的位姿点线图如图6所示。
S30：将所述位姿点线图以区别于所述预定背景板颜色的目标颜色分别绘制在背景板上，以确定训练RGB图像。
可以预先生成RGB三通道均为预定背景板颜色的背景板，即生成的背景板颜色统一，可以用于制作背景颜色统一的训练RGB图像。
可以利用区别于所述预定背景板颜色的目标颜色将各个位姿点线图分别绘制在对应的背景板上，将背景与待识别的位姿点线图进行区分，便于姿态识别模型快速准确的识别待识别的位姿点线图，有效避免背景干扰。
S40：利用多个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。
需要多个训练RGB图像训练所述位姿识别模型，各个训练RGB图像的背景颜色统一，且训练RGB图像上的位姿点线图仅仅包括关键部位的点线连接关系，与原有训练样本，即直接利用原始RGB图像作为训练样本相比，训练RGB图像可以有效降低原有训练样本的复杂度，实现利用较少的训练RGB图像即可完成对位姿识别模型的训练，降低位姿识别模型的训练时间。
本实施例公开的位姿识别模型训练方法包括：获取原始RGB图像；利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；将所述位姿点线图以区别于预定背景板颜色的目标颜色分别绘制在背景板上，以确定训练RGB图像；利用多个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。本实施例的技术方案各个训练RGB图像的背景颜色统一，且训练RGB图像上的位姿点线图仅仅包括关键部位的点线连接关系，与原有训练样本，即直接利用原始RGB图像作为训练样本相比，训练RGB图像可以有效降低原有训练样本的复杂度，实现利用较少的训练RGB图像即可完成对位姿识别模型的训练，降低位姿识别模型的训练时间。
实施例2
本实施例，参见图2，示出了另一种位姿识别模型训练方法包括以下步骤：
S100：获取各个原始RGB图像。
S200：利用预设的位姿点线图提取方法从每一个原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图。
S300：根据所述位姿点线图中各个位姿关键点坐标的属性对各个位姿关键点坐标进行特征分类。
利用所述位姿点线图提取方法从每一个原始RGB图像中提取所述预设数目个位姿关键点坐标和各个位姿关键点坐标对应的属性，根据所述位姿点线图中各个位姿关键点坐标的属性对各个位姿关键点坐标进行特征分类。
示范性的，在人体姿态识别过程中，各个位姿关键点坐标的属性对应身体的各个部位。考虑到不同行为姿态依赖的人体部位是不同的。例如，拥抱、举手行为更多依赖于手臂部分的关键点，而蹲下行为更多依赖于下肢部分的关键点。因此，在识别人体位姿时，可以将各个人体关键部位进行特征分类，对应的特征类别包括头颈特征类别、手臂特征类别和下肢特征类别。
进一步的，在人体姿态识别过程中，左耳、左眼、鼻子、右眼和右耳对应的关键点可以顺次连接，鼻子和颈对应的关键点连接，右手腕、右肘、右肩、颈、左肩、左肘和左手腕对应的关键点可以顺次连接，颈、左臀、左膝、左脚踝对应的关键点可以顺次连接；颈、右臀、右膝、右脚踝对应的关键点可以顺次连接，上述连接完成后将获得位姿点线图。
进一步的，若位姿点线图提取方法提取18个关键点，则序号为0、1和14～17属于头颈特征类别，序号为2～7属于手臂特征类别，序号为8～13属于下肢特征类别；若位姿点线图提取方法提取25个关键点，则序号为0、1和15～18属于头颈特征类别，序号为2～7属于手臂特征类别，序号为8～14和19～24属于下肢特征类别。
S400：将各个位姿点线图分别绘制在对应的背景板上。
可以生成RGB三通道均为预定背景板颜色的背景板，所述背景板的数目与所述原始RGB图像的数目相同。
可以理解，在背景板与原始RGB图像的长和宽都相同时，可以将各个位姿点线图等比例分别绘制在对应的背景板上；在背景板与原始RGB图像的长和宽不相同时，可以通过背景板与原始RGB图像的长度比例和宽度比例，将各个位姿点线图按照长度比例和宽度比例分别绘制在对应的背景板上。
S500：在每一个背景板上，将同一特征类别中的位姿关键点坐标构成的点线标注为预设的同一颜色，各个特征类别中的位姿关键点坐标构成的点线的标注颜色不同且与所述预定背景板颜色不同，以确定对应的训练RGB图像。
可以将头颈特征类别、手臂特征类别和下肢特征类别中所包括的点线标注为不同的颜色，例如，所述头颈特征类别、所述手臂特征类别和所述下肢特征类别中所包括的点线可以依次标注为绿色、蓝色和红色。示范性的，头颈使用绿色标注，手臂使用蓝色标注，下肢使用红色标注。因为手臂和下肢使用的频率较大，并且，手臂和下肢更有利于对于人体姿态的识别，因此，使用区分度较大的蓝色和红色，使手臂特征和下肢特征具有更大的区分度。
可以理解，还可将手臂使用红色标注，下肢使用蓝色标注。只要可以增加手臂特征和下肢特征的区分度即可，本实施例在此不做限定。
示范性的，可以利用“color_head＝[0,255,0]”将头颈特征类别中的位姿关键点坐标构成的点线标注为绿色，可以利用“color_arm＝[0,0,255]”将手臂特征类别中的位姿关键点坐标构成的点线标注为蓝色，可以利用“color_leg＝[255,0,0]”将手臂特征类别中的位姿关键点坐标构成的点线标注为红色。
预定背景板颜色为黑色，因为将人体位姿点线图绘制于黑色背景板中，可以减少背景干扰，突出需要学习的人体姿态信息，使得位姿识别模型更专注于学习人体姿态信息。
示范性的，可以利用“image＝image[:,:,0:3]＝0”，生成一幅RGB三通道均为黑色的，并且与原始RGB图像的长和宽相同的背景板。其中，每个“，”前参数：第一个是宽，第二个是高，第三个是通道，0：3就是0、1、2三个通道，代表R(red)、G(green)和B(blue)三个通道，“＝0”代表生成一幅背景颜色为黑的背景板。
S600：利用所述各个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。
位姿识别模型可以是卷积神经网络，可以是ResNet18、MobileNet v2和ShuffleNet v2中的一种。因为卷积神经网络对颜色、纹理等特征较为敏感，渲染后的训练RGB图像十分适合卷积神经网络进行特征提取和学习，因此，位姿识别模型所需要的训练数据量可以大大减少。只需要利用较少的训练数据对位姿识别模型进行简单几轮训练，即可得到鲁棒性很好的位姿识别模型。
示范性的，经过试验对比，使用原始RGB图像训练由ResNet18网络构成的位姿识别模型，若使位姿识别模型可以准确的识别拥抱、举手、蹲下和站立，至少需要各个姿态类别的原始RGB图像分别500张，而且还不能覆盖所有场景，训练完成的位姿识别模型识别效果也不理想。但是，使用本发明实施例提出的训练RGB图像训练由ResNet18网络构成的位姿识别模型，仅仅需要各个姿态类别的原始RGB图像分别50张，对位姿识别模型进行简单几轮训练，即可得到鲁棒性很好的位姿识别模型。
示范性的，拥抱位姿点线图如图7所示、举手位姿点线图如图8所示、蹲下位姿点线图如图9所示和站立位姿点线图如图10所示。可以理解，图7至图10中，头颈部分使用绿色标注，手臂部分使用蓝色标注，下肢部分使用红色标注。
实施例3
本实施例，参见图3，示出了一种位姿识别模型训练装置1包括：原始RGB图像获取模块10、位姿点线图提取模块20、训练RGB图像确定模块30和位姿识别模型训练模块40。
原始RGB图像获取模块10，用于获取原始RGB图像；位姿点线图提取模块20，用于利用预设的位姿点线图提取方法从原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；训练RGB图像确定模块30，用于将位姿点线图以区别于所述预定背景板颜色的目标颜色绘制在背景板上，以确定训练RGB图像；位姿识别模型训练模块40，用于利用所述多个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。
进一步的，位姿识别模型训练装置1，还包括：
特征分类模块，用于根据所述位姿点线图中各个位姿关键点坐标的属性对各个位姿关键点坐标进行特征分类。
进一步的，利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图，包括：
利用OpenPose人体姿态估计算法提取所述原始RGB图像的18个关键点的位置信息；
根据18个关键点的位置信息确定所述位姿点线图。
进一步的，训练RGB图像确定模块30，包括：
位姿点线图绘制单元，用于将位姿点线图分别绘制背景板上；特征类别颜色区分单元，用于背景板上，将同一特征类别中的位姿关键点坐标构成的点线标注为预设的同一颜色，各个特征类别中的位姿关键点坐标构成的点线的标注颜色不同且与所述预定背景板颜色不同。
进一步的，位姿识别模型训练装置，在识别人体位姿时，所述特征类别包括头颈特征类别、手臂特征类别和下肢特征类别。
进一步的，位姿识别模型训练装置，所述预定背景板颜色为黑色，所述头颈特征类别、手臂特征类别和下肢特征类别为绿色、蓝色和红色之一，且各个特征类别中的位姿关键点坐标构成的点线的标注颜色不同，且与所述预定背景板颜色不同。
进一步的，位姿识别模型训练装置，所述预定的位姿识别模型包括ResNet18、MobileNet v2和ShuffleNet v2中的一种。
本实施例公开的位姿识别模型训练装置1通过原始RGB图像获取模块10、位姿点线图提取模块20、训练RGB图像确定模块30和位姿识别模型训练模块40的配合使用，用于执行上述实施例所述的位姿识别模型训练方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。
实施例4
本实施例，参见图4，示出了一种位姿识别方法包括以下步骤：
S11：获取待识别的初始RGB图像；
S21：利用预设的位姿点线图提取方法从所述初始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；
S31：将所述位姿点线图以区别于所述预定背景板颜色的目标颜色分别绘制在所述背景板上，以确定待识别的点线RGB图像；
S41：利用预先训练达标的位姿识别模型确定所述点线RGB图像对应的位姿。
通过利用本发明实施例涉及的位姿识别模型训练方法训练好的位姿识别模型对点线RGB图像进行预测，可以得到每个点线RGB图像属于其中某个类别各自的概率值，可以理解，取其中最大的概率值所属的类别即为位姿识别模型最终识别的行为。
进一步的，步骤S21还可以包括：根据所述位姿点线图中各个位姿关键点坐标的属性对各个位姿关键点坐标进行特征分类。
进一步的，在识别人体位姿时，所述特征类别包括头颈特征类别、手臂特征类别和下肢特征类别。
进一步的，步骤S31包括：
将各个位姿点线图分别绘制在对应的背景板上；在一每个背景板上，将同一特征类别中的位姿关键点坐标构成的点线标注为预设的同一颜色，各个特征类别中的位姿关键点坐标构成的点线的标注颜色不同且与所述预定背景板颜色不同。
进一步的，预定背景板颜色为黑色，所述头颈特征类别、所述手臂特征类别和所述下肢特征类别中的位姿关键点坐标构成的点线依次标注为绿色、蓝色和红色之一，各个特征类别中的位姿关键点坐标构成的点线的标注颜色不同且与所述预定背景板的颜色不同。
可以理解，本发明实施例涉及一种终端设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行本发明实施例所述的位姿识别模型训练方法或本发明实施例所述的位姿识别方法。
可以理解，本发明实施例涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本发明实施例所述的位姿识别模型训练方法或本发明实施例所述的位姿识别方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种位姿识别模型训练方法，其特征在于，该位姿识别模型训练方法包括：
获取原始RGB图像；
利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；
将所述位姿点线图以区别于预定背景板颜色的目标颜色绘制在背景板上，以确定训练RGB图像；
利用多个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。
2.根据权利要求1所述的位姿识别模型训练方法，其特征在于，在从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图之后，还包括：
根据所述位姿点线图中各个位姿关键点坐标的属性对各个位姿关键点坐标进行特征分类。
3.根据权利要求2所述的位姿识别模型训练方法，其特征在于，所述将所述位姿点线图以区别于预定背景板颜色的目标颜色分别绘制在背景板上，包括：
将所述位姿点线图绘制在所述背景板上；
在所述背景板上，将同一特征类别中的位姿关键点坐标构成的点线标注为预设的同一颜色，各个特征类别中的位姿关键点坐标构成的点线标注颜色不同且与所述预定背景板颜色不同。
4.根据权利要求3所述的位姿识别模型训练方法，其特征在于，在识别人体位姿时，所述特征类别包括头颈特征类别、手臂特征类别和下肢特征类别。
5.根据权利要求4所述的位姿识别模型训练方法，其特征在于，所述预定背景板颜色为黑色，所述头颈特征类别、所述手臂特征类别和所述下肢特征类别中的位姿关键点坐标构成的点线标注为绿色、蓝色和红色之一。
6.根据权利要求1至5任一项所述的位姿识别模型训练方法，其特征在于，所述利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图，包括：
利用OpenPose人体姿态估计算法提取所述原始RGB图像的预设数目个关键点的位置信息；
根据预设数目个关键点的位置信息确定所述位姿点线图。
7.一种位姿识别模型训练装置，其特征在于，该装置包括：
原始RGB图像获取模块，用于获取原始RGB图像；
位姿点线图提取模块，用于利用预设的位姿点线图提取方法从所述原始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；
训练RGB图像确定模块，用于将所述位姿点线图以区别于预定背景板颜色的目标颜色绘制在背景板上，以确定训练RGB图像；
位姿识别模型训练模块，用于利用多个训练RGB图像训练所述位姿识别模型直至所述位姿识别模型对应的损失函数收敛。
8.一种位姿识别方法，其特征在于，该位姿识别方法包括：
获取待识别的初始RGB图像；
利用预设的位姿点线图提取方法从所述初始RGB图像中提取由预设数目个位姿关键点坐标组成的位姿点线图；
将所述位姿点线图以区别于所述预定背景板颜色的目标颜色分别绘制在所述背景板上，以确定待识别的点线RGB图像；
利用权利要求1至5任一项所述位姿识别模型训练方法训练获得的位姿识别模型确定所述点线RGB图像对应的位姿。
9.一种终端设备，其特征在于，包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至6任一项所述的位姿识别模型训练方法或权利要求8所述的位姿识别方法。
10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至6任一项所述的位姿识别模型训练方法或权利要求8所述的位姿识别方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011503576.1A CN112489129A (zh) | 2020-12-18 | 2020-12-18 | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 |
| PCT/CN2021/131148 WO2022127494A1 (zh) | 2020-12-18 | 2021-11-17 | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011503576.1A CN112489129A (zh) | 2020-12-18 | 2020-12-18 | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112489129A true CN112489129A (zh) | 2021-03-12 |
Family
ID=74914695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011503576.1A Pending CN112489129A (zh) | 2020-12-18 | 2020-12-18 | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112489129A (zh) |
| WO (1) | WO2022127494A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113077512A (zh) * | 2021-03-24 | 2021-07-06 | 浙江中体文化集团有限公司 | 一种rgb-d位姿识别模型训练方法及系统 |
| CN113362467A (zh) * | 2021-06-08 | 2021-09-07 | 武汉理工大学 | 一种基于点云预处理和ShuffleNet的移动端三维位姿估计方法 |
| WO2022127494A1 (zh) * | 2020-12-18 | 2022-06-23 | 深圳市优必选科技股份有限公司 | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116509333B (zh) * | 2023-05-20 | 2024-02-02 | 中国医学科学院阜外医院 | 基于双目图像的人体平衡能力评估方法、系统及设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09185699A (ja) * | 1995-12-29 | 1997-07-15 | Casio Comput Co Ltd | 描画色変更方法、及び動画再生装置 |
| CN1525733A (zh) * | 2002-12-20 | 2004-09-01 | ��ʿͨ��ʽ���� | 图像数据中具有不同特征的区域之间的边界检测方法 |
| CN106991449A (zh) * | 2017-04-10 | 2017-07-28 | 大连大学 | 一种生活场景重构辅助识别蓝莓品种的方法 |
| CN108510491A (zh) * | 2018-04-04 | 2018-09-07 | 深圳市未来媒体技术研究院 | 虚化背景下人体骨骼关键点检测结果的过滤方法 |
| CN109686198A (zh) * | 2019-02-25 | 2019-04-26 | 韩嘉言 | 一种基于计算机视觉技术的摆动运动实验测量方法和系统 |
| CN109902659A (zh) * | 2019-03-15 | 2019-06-18 | 北京字节跳动网络技术有限公司 | 用于处理人体图像的方法和装置 |
| CN110378432A (zh) * | 2019-07-24 | 2019-10-25 | 网易无尾熊（杭州）科技有限公司 | 图片生成方法、装置、介质及电子设备 |
| CN110598675A (zh) * | 2019-09-24 | 2019-12-20 | 深圳度影医疗科技有限公司 | 一种超声胎儿姿态的识别方法、存储介质及电子设备 |
| CN110659683A (zh) * | 2019-09-20 | 2020-01-07 | 杭州智团信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN111046819A (zh) * | 2019-12-18 | 2020-04-21 | 浙江大华技术股份有限公司 | 一种行为识别处理方法及装置 |
| CN111079543A (zh) * | 2019-11-20 | 2020-04-28 | 浙江工业大学 | 一种基于深度学习的高效车辆颜色识别方法 |
| CN111723687A (zh) * | 2020-06-02 | 2020-09-29 | 北京的卢深视科技有限公司 | 基于神经网路的人体动作识别方法和装置 |
| CN111753656A (zh) * | 2020-05-18 | 2020-10-09 | 深圳大学 | 特征提取方法、装置、设备及计算机可读存储介质 |
| CN111832383A (zh) * | 2020-05-08 | 2020-10-27 | 北京嘀嘀无限科技发展有限公司 | 姿态关键点识别模型的训练方法、姿态识别方法及装置 |
| CN111915676A (zh) * | 2020-06-17 | 2020-11-10 | 深圳大学 | 图像生成方法、装置、计算机设备和存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11295119B2 (en) * | 2017-06-30 | 2022-04-05 | The Johns Hopkins University | Systems and method for action recognition using micro-doppler signatures and recurrent neural networks |
| CN107886089A (zh) * | 2017-12-11 | 2018-04-06 | 深圳市唯特视科技有限公司 | 一种基于骨架图回归的三维人体姿态估计的方法 |
| CN108846365B (zh) * | 2018-06-24 | 2022-04-22 | 深圳市中悦科技有限公司 | 视频中打架行为的检测方法、装置、存储介质及处理器 |
| CN111274998B (zh) * | 2020-02-17 | 2023-04-28 | 上海交通大学 | 帕金森病手指敲击动作识别方法及系统、存储介质及终端 |
| CN112489129A (zh) * | 2020-12-18 | 2021-03-12 | 深圳市优必选科技股份有限公司 | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 |
-
2020
- 2020-12-18 CN CN202011503576.1A patent/CN112489129A/zh active Pending
-
2021
- 2021-11-17 WO PCT/CN2021/131148 patent/WO2022127494A1/zh active Application Filing
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09185699A (ja) * | 1995-12-29 | 1997-07-15 | Casio Comput Co Ltd | 描画色変更方法、及び動画再生装置 |
| CN1525733A (zh) * | 2002-12-20 | 2004-09-01 | ��ʿͨ��ʽ���� | 图像数据中具有不同特征的区域之间的边界检测方法 |
| CN106991449A (zh) * | 2017-04-10 | 2017-07-28 | 大连大学 | 一种生活场景重构辅助识别蓝莓品种的方法 |
| CN108510491A (zh) * | 2018-04-04 | 2018-09-07 | 深圳市未来媒体技术研究院 | 虚化背景下人体骨骼关键点检测结果的过滤方法 |
| CN109686198A (zh) * | 2019-02-25 | 2019-04-26 | 韩嘉言 | 一种基于计算机视觉技术的摆动运动实验测量方法和系统 |
| CN109902659A (zh) * | 2019-03-15 | 2019-06-18 | 北京字节跳动网络技术有限公司 | 用于处理人体图像的方法和装置 |
| CN110378432A (zh) * | 2019-07-24 | 2019-10-25 | 网易无尾熊（杭州）科技有限公司 | 图片生成方法、装置、介质及电子设备 |
| CN110659683A (zh) * | 2019-09-20 | 2020-01-07 | 杭州智团信息技术有限公司 | 图像处理方法、装置及电子设备 |
| CN110598675A (zh) * | 2019-09-24 | 2019-12-20 | 深圳度影医疗科技有限公司 | 一种超声胎儿姿态的识别方法、存储介质及电子设备 |
| CN111079543A (zh) * | 2019-11-20 | 2020-04-28 | 浙江工业大学 | 一种基于深度学习的高效车辆颜色识别方法 |
| CN111046819A (zh) * | 2019-12-18 | 2020-04-21 | 浙江大华技术股份有限公司 | 一种行为识别处理方法及装置 |
| CN111832383A (zh) * | 2020-05-08 | 2020-10-27 | 北京嘀嘀无限科技发展有限公司 | 姿态关键点识别模型的训练方法、姿态识别方法及装置 |
| CN111753656A (zh) * | 2020-05-18 | 2020-10-09 | 深圳大学 | 特征提取方法、装置、设备及计算机可读存储介质 |
| CN111723687A (zh) * | 2020-06-02 | 2020-09-29 | 北京的卢深视科技有限公司 | 基于神经网路的人体动作识别方法和装置 |
| CN111915676A (zh) * | 2020-06-17 | 2020-11-10 | 深圳大学 | 图像生成方法、装置、计算机设备和存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022127494A1 (zh) * | 2020-12-18 | 2022-06-23 | 深圳市优必选科技股份有限公司 | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 |
| CN113077512A (zh) * | 2021-03-24 | 2021-07-06 | 浙江中体文化集团有限公司 | 一种rgb-d位姿识别模型训练方法及系统 |
| CN113362467A (zh) * | 2021-06-08 | 2021-09-07 | 武汉理工大学 | 一种基于点云预处理和ShuffleNet的移动端三维位姿估计方法 |
| CN113362467B (zh) * | 2021-06-08 | 2023-04-07 | 武汉理工大学 | 基于点云预处理和ShuffleNet的移动端三维位姿估计方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022127494A1 (zh) | 2022-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633207B (zh) | Au特征识别方法、装置及存储介质 | |
| CN112489129A (zh) | 位姿识别模型训练方法、装置、位姿识别方法和终端设备 | |
| CN110263681B (zh) | 面部表情的识别方法和装置、存储介质、电子装置 | |
| CN109902659B (zh) | 用于处理人体图像的方法和装置 | |
| US10318797B2 (en) | Image processing apparatus and image processing method | |
| CN107679447A (zh) | 面部特征点检测方法、装置及存储介质 | |
| CN108288051B (zh) | 行人再识别模型训练方法及装置、电子设备和存储介质 | |
| CN110569795A (zh) | 一种图像识别方法、装置以及相关设备 | |
| CN110472481B (zh) | 一种睡姿检测方法、装置及设备 | |
| CN109829418B (zh) | 一种基于背影特征的打卡方法、装置和系统 | |
| CN110348322A (zh) | 基于多特征融合的人脸活体检测方法及设备 | |
| CN112446302B (zh) | 一种人体姿态检测方法、系统、电子设备和存储介质 | |
| CN110363084A (zh) | 一种上课状态检测方法、装置、存储介质及电子 | |
| CN105335719A (zh) | 活体检测方法及装置 | |
| CN110135497B (zh) | 模型训练的方法、面部动作单元强度估计的方法及装置 | |
| CN109872407B (zh) | 一种人脸识别方法、装置、设备及打卡方法、装置和系统 | |
| CN111783882B (zh) | 关键点检测方法、装置、电子设备及存储介质 | |
| CN110232326A (zh) | 一种三维物体识别方法、装置及存储介质 | |
| CN110555896A (zh) | 一种图像生成方法、装置以及存储介质 | |
| CN107992807A (zh) | 一种基于cnn模型的人脸识别方法及装置 | |
| CN107844742A (zh) | 人脸图像眼镜去除方法、装置及存储介质 | |
| CN112418135A (zh) | 人体行为识别方法、装置、计算机设备及可读存储介质 | |
| CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
| CN108073851A (zh) | 一种抓取手势识别的方法、装置及电子设备 | |
| CN111507184B (zh) | 基于并联空洞卷积和身体结构约束的人体姿态检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |