CN109614867A - 人体关键点检测方法和装置、电子设备、计算机存储介质 - Google Patents

人体关键点检测方法和装置、电子设备、计算机存储介质 Download PDF

Info

Publication number
CN109614867A
CN109614867A CN201811329655.8A CN201811329655A CN109614867A CN 109614867 A CN109614867 A CN 109614867A CN 201811329655 A CN201811329655 A CN 201811329655A CN 109614867 A CN109614867 A CN 109614867A
Authority
CN
China
Prior art keywords
key point
human body
loss
neural network
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811329655.8A
Other languages
English (en)
Inventor
杨昆霖
田茂清
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201811329655.8A priority Critical patent/CN109614867A/zh
Publication of CN109614867A publication Critical patent/CN109614867A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人体关键点检测方法和神经网络训练方法、装置、电子设备、计算机存储介质，该人体关键点检测方法包括：获取待处理图像；利用预先训练的神经网络检测所述待处理图像中的人体关键点，其中，根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，并根据所述损失函数训练神经网络，得到所述预先训练的神经网络，所述人体关键点的相邻关键点由各人体关键点之间的连接关系确定。

Description

人体关键点检测方法和装置、电子设备、计算机存储介质
技术领域
本发明涉及计算机视觉领域，尤其涉及一种人体关键点检测方法和神经网络训练方法、装置、电子设备、计算机存储介质，可以应用于智能视频分析或安防监控。
背景技术
人体关键点检测技术是人体视频数据自动处理、人体行为分析和人机交互的基础，可以为视频结构化提供重要的技术支撑；人体关键点检测的主要原理是：从人体上检测出各个人体关键点(可以是关节或者五官位置)，从而通过这些关键点的位置信息来描述人体的姿态。
在相关技术中，如何提高人体关键点检测的准确率，是亟待解决的问题和重要的研究方向。
发明内容
本发明实施例期望提供一种人体关键点检测和神经网络训练的技术方案。
本发明实施例提供了一种人体关键点检测方法，所述方法包括：
获取待处理图像；
利用预先训练的神经网络检测所述待处理图像中的人体关键点，其中，根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，并根据所述损失函数训练神经网络，得到所述预先训练的神经网络，所述人体关键点的相邻关键点由各人体关键点之间的连接关系确定。
可选地，所述方法还包括：
根据各人体关键点之间的连接关系的先验知识，预先定义各人体关键点之间的连接关系。
可选地，所述根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，包括：
根据所有人体关键点的平均损失得到所述损失函数，其中，所述关键点的损失由所述关键点及其相邻关键点的损失得到。
可选地，所述关键点的损失由所述关键点及其相邻关键点的损失得到，包括：
将所述关键点的损失及其相邻关键点的损失叠加，得到所述关键点的损失。
可选地，所述损失函数包括：对数损失函数或均方差损失函数。
本发明实施例还提供了一种神经网络训练方法，所述方法还包括：
获取包含人体的样本图像；
根据所述样本图像中每个人体关键点及其相邻关键点的损失获取损失函数，并根据所述损失函数训练用于人体关键点检测的神经网络，其中，每个人体关键点的相邻关键点根据各人体关键点之间的连接关系确定。
可选地，所述方法还包括：
根据各人体关键点之间的连接关系的先验知识，预先定义各人体关键点之间的连接关系。
可选地，所述根据所述样本图像中每个人体关键点及其相邻关键点的损失获取损失函数，包括：
根据所述样本图像中所有人体关键点的平均损失得到所述损失函数，其中，所述关键点的损失由所述关键点及其相邻关键点的损失得到。
可选地，所述关键点的损失由所述关键点及其相邻关键点的损失得到，包括：
将所述关键点的损失及其相邻关键点的损失叠加，得到所述关键点的损失。
可选地，所述损失函数包括：对数损失函数或均方差损失函数。
本发明实施例还提供了一种人体关键点检测装置，所述装置包括：第一获取模块和处理模块；其中，
第一获取模块，用于获取待处理图像；
处理模块，用于利用预先训练的神经网络检测所述待处理图像中的人体关键点，其中，根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，并根据所述损失函数训练神经网络，得到所述预先训练的神经网络，所述人体关键点的相邻关键点由各人体关键点之间的连接关系确定。
可选地，所述处理模块，还用于根据各人体关键点之间的连接关系的先验知识，预先定义各人体关键点之间的连接关系。
可选地，所述处理模块，具体用于根据所有人体关键点的平均损失得到所述损失函数，其中，所述关键点的损失由所述关键点及其相邻关键点的损失得到。
可选地，所述处理模块，具体用于将所述关键点的损失及其相邻关键点的损失叠加，得到所述关键点的损失。
可选地，所述损失函数包括：对数损失函数或均方差损失函数。
本发明实施例还提供了一种神经网络训练装置，所述装置包括：第二获取模块和训练模块，其中，
第二获取模块，用于获取包含人体的样本图像；
训练模块，用于根据所述样本图像中每个人体关键点及其相邻关键点的损失获取损失函数，并根据所述损失函数训练用于人体关键点检测的神经网络，其中，每个人体关键点的相邻关键点根据各人体关键点之间的连接关系确定。
可选地，所述训练模块，还用于根据各人体关键点之间的连接关系的先验知识，预先定义各人体关键点之间的连接关系。
可选地，所述训练模块，具体用于根据所述样本图像中所有人体关键点的平均损失得到所述损失函数，其中，所述关键点的损失由所述关键点及其相邻关键点的损失得到。
可选地，所述训练模块，具体用于将所述关键点的损失及其相邻关键点的损失叠加，得到所述关键点的损失。
可选地，所述损失函数包括：对数损失函数或均方差损失函数。
本发明实施例还提供了一种电子设备，该电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，实现上述任意一种人体关键点检测方法。
本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种人体关键点检测方法。
基于本发明实施例的提出的人体关键点检测和神经网络训练方法、装置、电子设备、计算机存储介质中，首先，获取待处理图像；然后，利用预先训练的神经网络检测所述待处理图像中的人体关键点，其中，根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，并根据所述损失函数训练神经网络，得到所述预先训练的神经网络，所述人体关键点的相邻关键点由各人体关键点之间的连接关系确定。如此，本发明实施例是在考虑人体关键点之间的连接关系的基础上，预先训练得出神经网络，因而，在利用预先训练的神经网络检测人体关键点时，可以提高人体关键点检测的准确率。
附图说明
图1为本发明实施例的人体关键点检测方法的流程图；
图2为本发明实施例包含人体的样本图像的一个示意图；
图3为本发明实施例中预定义的各人体关键点之间的连接关系示意图；
图4为本发明实施例的神经网络的训练方法的流程图；
图5为本发明实施例的人体关键点检测装置的组成结构示意图；
图6为本发明实施例的一种电子设备的结构示意图；
图7为本发明实施例的神经网络训练装置的组成结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在不冲突的情况下，本发明实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本发明实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如，本发明实施例提供的人体关键点检测方法包含了一系列的步骤，但是本发明实施例提供的人体关键点检测方法不限于所记载的步骤，同样地，本发明实施例提供的人体关键点检测装置包括了一系列单元，但是本发明实施例提供的装置不限于包括所明确记载的单元，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的单元。
另外，本发明实施例中所记载的“第一”、“第二”、“第三”和“第四”仅用于区分不同的对象，不代表顺序或者优先级的差异，可以理解，在不冲突的情况下，“第一”、“第二”、“第三”和“第四”所代表的对象可以互换。
本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
本发明实施例提出了一种人体关键点检测方法，图1为本发明实施例的人体关键点检测方法的流程图，如图1所示，该流程可以包括：
步骤101：获取待处理图像。
示例性地，可以从本地存储区域或网络获取待处理图像，待处理图像的格式可以是联合图像专家小组(Joint Photographic Experts GROUP，JPEG)、位图(Bitmap，BMP)、便携式网络图形(Portable Network Graphics，PNG)或其他格式；需要说明的是，这里仅仅是对待处理图像的格式和来源进行了举例说明，本发明实施例并不对待处理图像的格式和来源进行限定。
步骤102：利用预先训练的神经网络检测所述待处理图像中的人体关键点，其中，根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，并根据所述损失函数训练神经网络，得到所述预先训练的神经网络，所述人体关键点的相邻关键点由各人体关键点之间的连接关系确定。
这里，人体关键点可以是关节或者五官位置，示例性地，人体上可以检测出的关键点包括：左右眼睛、鼻子、左右耳朵、左右肩膀、左右手肘、左右手腕、左右胯部、左右膝盖、左右脚踝等。参照图2，用数字1至17标示的圆点分别为17个人体关键点，图2的数字为人体关键点的序号，具体地说，数字1至17与人体关键点的对应关系为：
1：鼻子，2：左眼睛，3：右眼睛，4：左耳朵，5：右耳朵，6：左肩，7：右肩，8：左肘部，9右肘部，10：左手腕，11：右手腕，12：左腰部，13：右腰部，14：左膝盖，15：右膝盖，16：左脚踝，17：右脚踝。
可以理解的是，人体关键点之间是相互连接的，因而，可以根据关键点之间有连接关系的先验知识，预先定义各人体关键点之间的连接关系。
图3为本发明实施例中预定义的各人体关键点之间的连接关系示意图，图3中，用数字1至17标示的圆点分别为17个人体关键点，图3的数字为人体关键点的序号；参照图2和图3，预定义的各人体关键点之间的连接关系可以描述为：鼻子与左、右眼睛俩俩相连，左、右耳朵相连，手肘与肩膀、手腕分别相连，膝盖与腰部、脚踝分别相连。
对于本步骤的实现方式，示例性地，可以根据预定义的各人体关键点之间的连接关系，得出上述待处理图像中每个人体关键点的相邻关键点；根据所有人体关键点的平均损失得到上述损失函数，其中，每个人体关键点的损失由该人体关键点及其相邻关键点的损失得到。这里，人体关键点的损失表示每个人体关键点的预测位置与实际位置的差异程度。
具体实施时，可以将任意一个关键点的损失及其相邻关键点的损失叠加，得到对应人体关键点的损失。
可选地，上述损失函数包括：对数损失函数(Binary Cross Entropy)或均方差损失函数(Mean Square Error)。
根据上述预定义的各人体关键点之间的连接关系，各人体关键点之间的相邻关系包括：鼻子、左眼睛和右眼睛两两相邻，左耳朵和右耳朵相邻，左手肘与左肩膀相邻，左手肘与左手腕相邻，右手肘与右肩膀相邻，右手肘与右手腕相邻，左膝盖与左腰部相邻，左膝盖与左脚踝相邻，右膝盖与右腰部相邻，右左膝盖与右脚踝相邻；根据上述相邻关系，可以得出每个人体关键点的相邻关键点。
本发明实施例中，并不对神经网络的类型进行限定，示例性地，上述神经网络为卷积神经网络。
实际应用中，步骤101至步骤102可以利用电子设备中的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种。
可以看出，本发明实施例是在考虑人体关键点之间的连接关系的基础上，预先训练得出神经网络，因而，在利用预先训练的神经网络检测人体关键点时，可以提高人体关键点检测的准确率。
下面对本发明实施例涉及的神经网络的训练方法进行说明。
图4为本发明实施例的神经网络的训练方法的流程图，如图4所示，该流程可以包括：
步骤401：获取包含人体的样本图像。
示例性地，可以从本地存储区域或网络获取包含人体的样本图像，包含人体的样本图像的格式可以是JPEG、BMP、PNG或其他格式；需要说明的是，这里仅仅是对包含人体的样本图像的格式和来源进行了举例说明，本发明实施例并不对包含人体的样本图像的格式和来源进行限定。图2为本发明实施例包含人体的样本图像的一个示意图。
步骤402：根据所述样本图像中每个人体关键点及其相邻关键点的损失获取损失函数，并根据所述损失函数训练用于人体关键点检测的神经网络，其中，每个人体关键点的相邻关键点根据各人体关键点之间的连接关系确定。
在实际实施时，在训练用于人体关键点检测的神经网络前，可以将所述包含人体的样本图像输入到用于人体关键点检测的神经网络中。
可选地，还可以先调整包含人体的样本图像的大小后，然后将调整大小后的样本图像输入到上述神经网络中。例如，调整大小后的样本图像的大小为256*192(高度*宽度)。
在神经网络训练过程中，将上述包含人体的样本图像输入到用于人体关键点检测的神经网络后，可以利用神经网络提取上述包含人体的样本图像的图片特征并预测各人体关键点的位置。
在相关技术中，在用于检测人体关键点的神经网络中使用的损失函数的得出依据仅仅是：每个人体关键点的损失(即每个人体关键点的预测位置与实际位置的差异程度)，也就是说，在设计神经网络中使用的损失函数时，没有考虑人体关键点之间固有的连接关系；而在本发明实施例中，可以根据所述样本图像中每个人体关键点的相邻关键点的损失，获取用于训练上述神经网络的损失函数；由于每个人体关键点的相邻关键点是根据人体关键点之间的连接关系得出的，因而，获取上述损失函数的依据包括人体关键点之间的连接关系，进而，本发明实施例是在考虑人体关键点之间的连接关系的基础上，得出了上述神经网络中使用的损失函数。
这里，上述损失函数可以记为结构感知损失函数(Structure-Aware LossFunction)。
实际应用中，可以根据上述样本图像中所有人体关键点的平均损失得到所述损失函数，其中，每个人体关键点的损失由该人体关键点及其相邻关键点的损失得到。具体实施时，可以将任意一个关键点的损失及其相邻关键点的损失叠加，得到对应人体关键点的损失。
可选地，上述损失函数可以包括对数损失函数或者均方差损失函数。
本发明实施例中，结构感知损失函数可以通过以下公式进行表示：
其中，LSA表示结构感知损失函数，N表示人体关键点的个数，在这里为17；
Sn表示与第n个人体关键点相邻的关键点的集合，Gn表示第n个人体关键点的真实位置，Pn表示第n个人体关键点的预测位置，函数F是常用的损失函数，比如对数损失函数或者均方差损失函数。
本发明实施例可以利用结构感知损失函数计算预测人体关键点的损失，根据上述记载的内容，可以看出，在计算一个人体关键点的损失时，把与它相邻的关键点的损失考虑进来，使用这个关键点和与这个关键点相邻的关键点的损失和作为这个点的损失来更新神经网络。
针对图2和图3所示的17个人体关键点，结构感知损失函数的一个具体计算过程为：
在计算鼻子的初始损失值后，需要计算左眼睛、右眼睛的损失值，将这三个点的损失值相加作为鼻子最终的损失值；
同样的，在计算左眼睛的初始损失值，需要加上鼻子、右眼睛的损失值，作为左眼睛最终的损失值；
在计算右眼睛的初始损失值后，需要加上鼻子、左眼睛的损失值，作为右眼睛最终的损失值；
在计算左耳朵的初始损失值后，需要加上右耳朵的损失值作为左耳朵最终的损失值；
在计算右耳朵的初始损失值后，需要加上左耳朵的损失值作为右耳朵最终的损失值；
在计算左肩膀的初始损失值后，需要加上左手肘的损失值作为左肩膀最终的损失值；
在计算右肩膀的初始损失值后，需要加上右手肘的损失值作为右肩膀最终的损失值；
在计算左手肘的初始损失值后，需要加上左肩膀和左手腕的损失值作为左手肘最终的损失值；
在计算右手肘的初始损失值后，需要加上右肩膀和右手腕的损失值作为右手肘最终的损失值；
在计算左手腕的初始损失值后，需要加上左手肘的损失值作为左手腕最终的损失值；
在计算右手腕的初始损失值后，需要加上右手肘的损失值作为右手腕最终的损失值；
在计算左腰部的初始损失值后，需要加上左膝盖的损失值作为左腰部最终的损失值；
在计算右腰部的初始损失值后，需要加上右膝盖的损失值作为右腰部最终的损失值；
在计算左膝盖的初始损失值后，需要加上左腰部和左脚踝的损失值作为左膝盖最终的损失值；
在计算右膝盖的初始损失值后，需要加上右腰部和右脚踝的损失值作为右膝盖最终的损失值；
在计算左脚踝的初始损失值后，需要加上左膝盖的损失值作为左脚踝最终的损失值；
在计算右脚踝的初始损失值后，需要加上右膝盖的损失值作为右脚踝最终的损失值；
最后将所有人体关键点最终的损失值相加求和，除以所有人体关键点的个数(例如为17)，得到人体关键点最终损失值的平均值；这里，得到的人体关键点最终损失值的平均值即为结构感知损失函数(即用于训练上述神经网络的损失函数)的值。
可选地，可以利用结构感知损失函数更新上述神经网络的权值。
实际应用中，步骤401至步骤403可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
可以看出，本发明实施例中，首先根据人体关键点之间的连接关系，得出结构感知损失函数，然后，可以根据结构感知损失函数训练神经网络；由于本发明实施例是在在考虑人体关键点之间的连接关系的基础上，得出了上述结构感知损失函数，因而，在利用训练得出的神经网络检测人体关键点时，可以提高人体关键点检测的准确率，使本发明实施例的人体关键点检测方法更加有效；进一步地，利用本发明实施例的人体关键点检测方案，可以准确地从人体上检测出事先定义的关键点位置，可以用来分析人体的姿态以及人体正在进行的动作。
在前述实施例提出的人体关键点检测方法的基础上，本发明实施例提出了一种人体关键点检测装置。
图5为本发明实施例的人体关键点检测装置的组成结构示意图，如图5所示，所述装置包括：第一获取模块501和处理模块502；其中，
第一获取模块501，用于获取待处理图像；
处理模块502，用于利用预先训练的神经网络检测所述待处理图像中的人体关键点，其中，根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，并根据所述损失函数训练神经网络，得到所述预先训练的神经网络，所述人体关键点的相邻关键点由各人体关键点之间的连接关系确定。
可选地，所述处理模块502，还用于根据各人体关键点之间的连接关系的先验知识，预先定义各人体关键点之间的连接关系。
可选地，所述处理模块502，具体用于根据所有人体关键点的平均损失得到所述损失函数，其中，所述关键点的损失由所述关键点及其相邻关键点的损失得到。
可选地，所述处理模块502，具体用于将所述关键点的损失及其相邻关键点的损失叠加，得到所述关键点的损失。
可选地，所述损失函数包括：对数损失函数或均方差损失函数。
实际应用中，第一获取模块501和处理模块502可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲，本实施例中的一种人体关键点检测方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种人体关键点检测方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种人体关键点检测方法。
基于前述实施例相同的技术构思，参见图6，其示出了本发明实施例提供的一种电子设备60，可以包括：存储器61和处理器62；其中，
所述存储器61，用于存储计算机程序和数据；
所述处理器62，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种人体关键点检测方法。
在实际应用中，上述存储器61可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器62提供指令和数据。
上述处理器62可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本发明实施例不作具体限定。
图7为本发明实施例的神经网络训练装置的组成结构示意图，如图7所示，所述装置包括：第二获取模块701和训练模块702，其中，
第二获取模块701，用于获取包含人体的样本图像；
训练模块702，用于根据所述样本图像中每个人体关键点及其相邻关键点的损失获取损失函数，并根据所述损失函数训练用于人体关键点检测的神经网络，其中，每个人体关键点的相邻关键点根据各人体关键点之间的连接关系确定。
可选地，所述训练模块702，还用于根据各人体关键点之间的连接关系的先验知识，预先定义各人体关键点之间的连接关系。
可选地，所述训练模块702，具体用于根据所述样本图像中所有人体关键点的平均损失得到所述损失函数，其中，所述关键点的损失由所述关键点及其相邻关键点的损失得到。
可选地，所述训练模块702，具体用于将所述关键点的损失及其相邻关键点的损失叠加，得到所述关键点的损失。
可选地，所述损失函数包括：对数损失函数或均方差损失函数。
实际应用中，第二获取模块701、确定模块702和训练模块703可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种人体关键点检测方法，其特征在于，所述方法包括：
获取待处理图像；
利用预先训练的神经网络检测所述待处理图像中的人体关键点，其中，根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，并根据所述损失函数训练神经网络，得到所述预先训练的神经网络，所述人体关键点的相邻关键点由各人体关键点之间的连接关系确定。
2.根据权利要求1所述的方法，其特征在于，所述根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，包括：
根据所有人体关键点的平均损失得到所述损失函数，其中，所述关键点的损失由所述关键点及其相邻关键点的损失得到。
3.根据权利要求2所述的方法，其特征在于，所述关键点的损失由所述关键点及其相邻关键点的损失得到，包括：
将所述关键点的损失及其相邻关键点的损失叠加，得到所述关键点的损失。
4.一种神经网络训练方法，其特征在于，所述方法还包括：
获取包含人体的样本图像；
根据所述样本图像中每个人体关键点及其相邻关键点的损失获取损失函数，并根据所述损失函数训练用于人体关键点检测的神经网络，其中，每个人体关键点的相邻关键点根据各人体关键点之间的连接关系确定。
5.根据权利要求4所述的方法，其特征在于，所述根据所述样本图像中每个人体关键点及其相邻关键点的损失获取损失函数，包括：
根据所述样本图像中所有人体关键点的平均损失得到所述损失函数，其中，所述关键点的损失由所述关键点及其相邻关键点的损失得到。
6.根据权利要求5所述的方法，其特征在于，所述关键点的损失由所述关键点及其相邻关键点的损失得到，包括：
将所述关键点的损失及其相邻关键点的损失叠加，得到所述关键点的损失。
7.一种人体关键点检测装置，其特征在于，所述装置包括：第一获取模块和处理模块；其中，
第一获取模块，用于获取待处理图像；
处理模块，用于利用预先训练的神经网络检测所述待处理图像中的人体关键点，其中，根据每个人体关键点及其相邻关键点的损失得到所述预先训练的神经网络的损失函数，并根据所述损失函数训练神经网络，得到所述预先训练的神经网络，所述人体关键点的相邻关键点由各人体关键点之间的连接关系确定。
8.一种神经网络训练装置，其特征在于，所述装置包括：第二获取模块和训练模块，其中，
第二获取模块，用于获取包含人体的样本图像；
训练模块，用于根据所述样本图像中每个人体关键点及其相邻关键点的损失获取损失函数，并根据所述损失函数训练用于人体关键点检测的神经网络，其中，每个人体关键点的相邻关键点根据各人体关键点之间的连接关系确定。
9.一种电子设备，其特征在于，包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行权利要求1至3任一项所述的方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3任一项所述的方法。
CN201811329655.8A 2018-11-09 2018-11-09 人体关键点检测方法和装置、电子设备、计算机存储介质 Pending CN109614867A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811329655.8A CN109614867A (zh) 2018-11-09 2018-11-09 人体关键点检测方法和装置、电子设备、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811329655.8A CN109614867A (zh) 2018-11-09 2018-11-09 人体关键点检测方法和装置、电子设备、计算机存储介质

Publications (1)

Publication Number Publication Date
CN109614867A true CN109614867A (zh) 2019-04-12

Family

ID=66003949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811329655.8A Pending CN109614867A (zh) 2018-11-09 2018-11-09 人体关键点检测方法和装置、电子设备、计算机存储介质

Country Status (1)

Country Link
CN (1) CN109614867A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126268A (zh) * 2019-12-24 2020-05-08 北京奇艺世纪科技有限公司 关键点检测模型训练方法、装置、电子设备及存储介质
CN111818449A (zh) * 2020-06-15 2020-10-23 华南师范大学 一种基于改进的人工神经网络的可见光室内定位方法
CN113095336A (zh) * 2021-04-22 2021-07-09 北京百度网讯科技有限公司 关键点检测模型的训练方法和检测目标对象关键点的方法
CN113597614A (zh) * 2020-12-31 2021-11-02 商汤国际私人有限公司 图像处理方法和装置、电子设备及存储介质
CN115578451A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194361A (zh) * 2017-05-27 2017-09-22 成都通甲优博科技有限责任公司 二维姿势检测方法及装置
WO2018020275A1 (en) * 2016-07-29 2018-02-01 Unifai Holdings Limited Computer vision systems
CN108205655A (zh) * 2017-11-07 2018-06-26 北京市商汤科技开发有限公司 一种关键点预测方法、装置、电子设备及存储介质
WO2018121737A1 (zh) * 2016-12-30 2018-07-05 北京市商汤科技开发有限公司 关键点预测、网络训练及图像处理方法和装置、电子设备
CN108549844A (zh) * 2018-03-22 2018-09-18 华侨大学 一种基于多层分形网络和关节亲属模式的多人姿态估计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020275A1 (en) * 2016-07-29 2018-02-01 Unifai Holdings Limited Computer vision systems
WO2018121737A1 (zh) * 2016-12-30 2018-07-05 北京市商汤科技开发有限公司 关键点预测、网络训练及图像处理方法和装置、电子设备
CN107194361A (zh) * 2017-05-27 2017-09-22 成都通甲优博科技有限责任公司 二维姿势检测方法及装置
CN108205655A (zh) * 2017-11-07 2018-06-26 北京市商汤科技开发有限公司 一种关键点预测方法、装置、电子设备及存储介质
CN108549844A (zh) * 2018-03-22 2018-09-18 华侨大学 一种基于多层分形网络和关节亲属模式的多人姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIPENG KE等: "Multi-Scale structure-Aware Network for Human Pose Estimation", 《ARXIV:1803.09894V3》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126268A (zh) * 2019-12-24 2020-05-08 北京奇艺世纪科技有限公司 关键点检测模型训练方法、装置、电子设备及存储介质
CN111126268B (zh) * 2019-12-24 2023-04-25 北京奇艺世纪科技有限公司 关键点检测模型训练方法、装置、电子设备及存储介质
CN111818449A (zh) * 2020-06-15 2020-10-23 华南师范大学 一种基于改进的人工神经网络的可见光室内定位方法
CN111818449B (zh) * 2020-06-15 2022-04-15 华南师范大学 一种基于改进的人工神经网络的可见光室内定位方法
CN113597614A (zh) * 2020-12-31 2021-11-02 商汤国际私人有限公司 图像处理方法和装置、电子设备及存储介质
CN113095336A (zh) * 2021-04-22 2021-07-09 北京百度网讯科技有限公司 关键点检测模型的训练方法和检测目标对象关键点的方法
CN113095336B (zh) * 2021-04-22 2022-03-11 北京百度网讯科技有限公司 关键点检测模型的训练方法和检测目标对象关键点的方法
CN115578451A (zh) * 2022-09-30 2023-01-06 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置
CN115578451B (zh) * 2022-09-30 2024-01-23 北京百度网讯科技有限公司 图像处理方法、图像处理模型的训练方法和装置

Similar Documents

Publication Publication Date Title
CN109614867A (zh) 人体关键点检测方法和装置、电子设备、计算机存储介质
US20190188573A1 (en) Training of artificial neural networks using safe mutations based on output gradients
US10599877B2 (en) Protecting content on a display device from a field-of-view of a person or device
EP2997895B1 (en) Computer-implemented method and apparatus for recognizing gait task
EP2869239A2 (en) Systems and methods for facial representation
Cardinaux et al. Video based technology for ambient assisted living: A review of the literature
WO2015066628A1 (en) Systems and methods for facial representation
Rescio et al. Supervised Expert System for Wearable MEMS Accelerometer‐Based Fall Detector
CN107644190A (zh) 行人监控方法和装置
Lawanont et al. Neck posture monitoring system based on image detection and smartphone sensors using the prolonged usage classification concept
CN109858333A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN110264495A (zh) 一种目标跟踪方法及装置
CN116405310B (zh) 一种网络数据安全监测方法及系统
Goudelis et al. Fall detection using history triple features
US11829460B2 (en) Systems and methods for biometric authentication via face covering
CN109409962A (zh) 图像处理方法、装置、电子设备、计算机可读存储介质
CN109696955B (zh) 智能梳妆镜的调整方法和智能梳妆镜
CN115223251A (zh) 签名检测模型的训练方法和装置、电子设备及存储介质
Barra et al. Biometric data on the edge for secure, smart and user tailored access to cloud services
KR102554149B1 (ko) 오브젝트 인식 방법 및 장치, 인식 모델 학습 방법 및 장치
Cheng et al. A Fall detection system based on SensorTag and Windows 10 IoT core
CN113793325A (zh) 一种检测方法、装置、计算机设备和存储介质
EP3832542A1 (en) Device and method with sensor-specific image recognition
CN112906660A (zh) 安检预警方法和装置、存储介质及电子设备
CN106156574A (zh) 一种信息验证方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412

RJ01 Rejection of invention patent application after publication