CN108460362A - 一种检测人体部位的系统及方法 - Google Patents

一种检测人体部位的系统及方法 Download PDF

Info

Publication number
CN108460362A
CN108460362A CN201810246867.3A CN201810246867A CN108460362A CN 108460362 A CN108460362 A CN 108460362A CN 201810246867 A CN201810246867 A CN 201810246867A CN 108460362 A CN108460362 A CN 108460362A
Authority
CN
China
Prior art keywords
human
network
human body
region
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810246867.3A
Other languages
English (en)
Other versions
CN108460362B (zh
Inventor
张靖淇
徐滢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Pinguo Technology Co Ltd
Original Assignee
Chengdu Pinguo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Pinguo Technology Co Ltd filed Critical Chengdu Pinguo Technology Co Ltd
Priority to CN201810246867.3A priority Critical patent/CN108460362B/zh
Publication of CN108460362A publication Critical patent/CN108460362A/zh
Application granted granted Critical
Publication of CN108460362B publication Critical patent/CN108460362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Abstract

本发明公开一种检测人体部位的系统及方法，包括：初筛模块，用于对输入图像中的人体预定区域进行初步预测，输出人体预定区域的第一边界范围；判别修正模块，用于过滤掉所述第一边界范围中预测错误的区域，并对所述第一边界范围中预测正确的区域进行修正，输出所述人体预定区域的第二边界范围；还包括：精确预测模块，用于对所述第二边界范围进行修正，输出所述人体预定区域的第三边界范围，并对所述第三边界范围中的预定关键点进行预测。本发明提供的技术方案能够在移动终端上实时、精确地检测出人体各部位，并能够对人体各部位进行实时跟踪，从而满足市场需求。

Description

一种检测人体部位的系统及方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种检测人体部位的系统及方法。
背景技术
对人体各部位的检测在摄影摄像技术中尤其有用。用户在拍摄时，通过摄影摄像设备检测到人体后，其可以将人体区域设置为焦点与测光中心，使拍出的照片不会因为失焦而导致人体模糊，也不会因为测光点错误而导致人体过亮或过暗；或者，基于检测到的人体位置给出构图建议，甚至基于人体框进一步检测出人的着装、性别、年龄等特征。以人体骨骼关键点和手部关键点检测为例，当检测出骨骼关键点时，可进一步开发出换装、瘦身等趣味性功能；而当检测出手部关键点时，可通过手势来渲染拍摄效果。因此，在摄影摄像设备上增加人体各部位检测功能，应用前景广阔，具有较大的市场潜力。
目前，在常用的具有摄影摄像功能的移动设备(例如，手机，平板电脑，相机等)上，只具有单一的人脸检测功能，并不能满足用户的上述需求。而对于人体各部位关键点的检测，目前较前沿的技术包括由facebook人工智能实验室提出的Mask R-CNN算法，和由卡内基梅隆大学开发的OpenPose系统。Mask R-CNN是目前最精确的目标检测和实例分割算法，且能对其进行扩展，用于人体骨骼关键点预测。OpenPose则专注于人体相关的检测，包括人脸、骨骼和手势的关键点检测。然而，这两种算法由于模型复杂、运算量巨大、占用内存巨大，都需要运行在高性能服务器上，而普通的移动设备，例如iphone设备，APP占用超过500M内存就有很高的崩溃概率。因此，现有的检测人体各部位的系统和算法是不能直接用于现有的移动设备上的。如何在现有的移动设备上精确检测出人体各部位以及人体各部位关键点、并能够实现实时跟踪，是目前较棘手并亟待解决的问题。
发明内容
本发明旨在提供一种检测人体部位的系统及方法，能够在移动终端上实时、精确地检测出人体各部位，从而满足市场需求。
为达到上述目的，本发明采用的技术方案如下：
一种检测人体部位的系统，包括：初筛模块，用于对输入图像中的人体预定区域进行初步预测，输出人体预定区域的第一边界范围；所述第一边界范围包括一个以上边界框；判别修正模块，用于过滤掉所述第一边界范围中预测错误的区域，并对所述第一边界范围中预测正确的区域进行修正，输出所述人体预定区域的第二边界范围；所述第二边界范围包括一个以上边界框。
进一步地，还包括：精确预测模块，用于对所述第二边界范围进行修正，输出所述人体预定区域的第三边界范围，并对所述第三边界范围中的预定关键点进行预测；所述第三边界范围包括一个以上边界框和一个以上关键点标识。
优选地，所述人体预定区域包括：人体，人脸，人手；所述预定关键点包括：人体骨骼关键点，人脸关键点，人手关键点；所述初筛模块包括：初筛网络，合并单元；所述判别修正模块包括：人体判别修正网络，人脸判别修正网络，人手判别修正网络；所述精确预测模块包括：人体精确预测网络，人脸精确预测网络，人手精确预测网络；所述初筛网络对输入图像中的人体预定区域进行初步预测，并将初步预测结果传送至所述合并单元；所述合并单元对所述初步预测结果采用非极大值抑制算法进行合并，获取人体预定区域的第一边界范围；所述初筛网络还输出所述第一边界范围中每个边界框的以下三个概率值：边界框为人体的概率值，边界框为人脸的概率值，边界框为人手的概率值；所述合并单元将所述每个边界框按照所述三个概率值相应地送入所述人体判别修正网络，或人脸判别修正网络，或人手判别修正网络；所述人体判别修正网络的输出为所述人体精确预测网络的输入，人体精确预测网络输出人体区域边界框，并对所述人体区域边界框中的人体骨骼关键点进行预测；所述人脸判别修正网络的输出为所述人脸精确预测网络的输入，人脸精确预测网络输出人脸区域边界框，并对所述人脸区域边界框中的人脸关键点进行预测；所述人手判别修正网络的输出为所述人手精确预测网络的输入，人手精确预测网络输出人手区域边界框，并对所述人手区域边界框中的人手关键点进行预测。
进一步地，还包括：初筛网络训练模块，用于对所述初筛网络进行训练；所述对所述初筛网络进行训练包括：对人体区域预测任务进行训练，对人脸区域预测任务进行训练，对人手区域预测任务进行训练；所述对所述初筛网络进行训练的方法为：获取标注了人体区域的数据集、标注了人脸区域的数据集、标注了人手区域的数据集；采用所述标注了人体区域的数据集对人体区域预测任务进行训练，对所述人脸区域预测任务和所述人手区域预测任务不进行loss传递；采用所述标注了人脸区域的数据集对人脸区域预测任务进行训练，对所述人体区域预测任务和所述人手区域预测任务不进行loss传递；采用所述标注了人手区域的数据集对人手区域预测任务进行训练，对所述人脸区域预测任务和所述人体区域预测任务不进行loss传递。
进一步地，还包括：判别修正网络训练模块，用于对所述人体判别修正网络、人脸判别修正网络、人手判别修正网络进行训练；所述判别修正网络训练模块的训练数据为所述初筛网络容易判断出错的数据样本；还包括：精确预测网络训练模块，用于对所述人体精确预测网络、人脸精确预测网络、人手精确预测网络进行训练。
优选地，所述初筛网络、人体判别修正网络、人脸判别修正网络、人手判别修正网络、人体精确预测网络、人脸精确预测网络、人手精确预测网络均为深度神经网络。
优选地，所述初筛网络的结构为全卷积的深度神经网络；所述人体判别修正网络、人脸判别修正网络、人手判别修正网络、人体精确预测网络、人脸精确预测网络、人手精确预测网络的结构均为在全卷积的深度神经网络之后接上全连接网络。
优选地，所述初筛网络的下采样倍数为48；所述人体判别修正网络的输入分辨率为48×48；所述人脸判别修正网络、人手判别修正网络的输入分辨率均为24×24；所述人体精确预测网络、人脸精确预测网络、人手精确预测网络的输入分辨率均为64×64。
一种检测人体部位的方法，包括：对输入的视频图像进行检测，获取所述视频图像当前帧的第三边界范围；对所述第三边界范围进行偏移与缩放，生成一组兴趣区域；对所述视频图像的下一帧进行检测时，直接将所述兴趣区域作为所述判别修正模块的输入；当在所述兴趣区域中没有检测到所述当前帧的第三边界范围时，将所述初筛模块作为所述判别修正模块的输入。
进一步地，还包括：当达到预定检测帧数或预定时间间隔时，将所述初筛模块作为所述判别修正模块的输入。
本发明实施例提供的检测人体部位的系统及方法，将复杂的检测任务拆分为简单的小目标，即将整个检测系统拆分为初筛模块、判别修正模块、精确预测模块，每个模块中又包含多个检测网络，即初筛网络、人体判别修正网络、人脸判别修正网络、人手判别修正网络、人体精确预测网络、人脸精确预测网络、人手精确预测网络，每个网络负责预测或修正相应的区域或关键点，由于每个网络的任务简单，因此，每个网络的模型较小，对其进行训练的样本数据也较少，并且样本数据也较容易获取，即使将上述网络组合起来，其模型的大小也是现有的移动设备能够承受的。由于整个系统由各个模块组合而成，因此各个模块可根据需求打开或者关闭，当不需要某种类别的检测时，或者输入图像中不存在某种类别时，系统可直接跳过该检测项目而直接执行下一个步骤，从而极大地减小了运算量、节省了运算资源，这对内存有限的移动设备来说非常实用。此外，当输入图像为视频图像时，系统在获取了视频图像当前帧的第三边界范围后，生成一组兴趣区域，这样，当对视频图像的下一帧进行检测时，直接将该兴趣区域作为判别修正模块的输入，跳过了较为耗时的初筛模块，使系统的运算速率大大提升，从而能够实现对于视频图像中目标区域的实时跟踪。综上所述，本发明提供的技术方案，能够在移动终端上实时、精确地检测出人体各部位，并能够对人体各部位进行实时跟踪，从而极大地满足市场需求。
附图说明
图1为本发明一个实施例的结构示意图；
图2为本发明另一个实施例的结构示意图；
图3为本发明实施例的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
本发明使用3个模块，总共7个小型深度神经网络，来共同配合实现综合人体检测与跟踪。分别为：
初筛模块，用于对输入图像中的人体预定区域进行初步预测，输出人体预定区域的第一边界范围；所述第一边界范围包括一个以上边界框；
判别修正模块，用于过滤掉所述第一边界范围中预测错误的区域，并对所述第一边界范围中预测正确的区域进行修正，输出所述人体预定区域的第二边界范围，让第二边界范围更好地囊括检测到的目标；所述第二边界范围包括一个以上边界框；
精确预测模块，用于对所述第二边界范围进行修正，输出所述人体预定区域的第三边界范围，并对所述第三边界范围中的预定关键点进行预测；所述第三边界范围包括一个以上边界框和一个以上关键点标识。
其中，所述人体预定区域包括：人体，人脸，人手；所述预定关键点包括：人体骨骼关键点，人脸关键点，人手关键点；所述初筛模块包括：初筛网络，合并单元；所述判别修正模块包括：人体判别修正网络，人脸判别修正网络，人手判别修正网络；所述精确预测模块包括：人体精确预测网络，人脸精确预测网络，人手精确预测网络；所述初筛网络对输入图像中的人体预定区域进行初步预测，并将初步预测结果传送至所述合并单元；所述合并单元对所述初步预测结果采用非极大值抑制算法进行合并，获取人体预定区域的第一边界范围；所述初筛网络还输出所述第一边界范围中每个边界框的以下三个概率值：边界框为人体的概率值，边界框为人脸的概率值，边界框为人手的概率值；所述合并单元将所述每个边界框按照所述三个概率值相应地送入所述人体判别修正网络，或人脸判别修正网络，或人手判别修正网络。
所述人体判别修正网络的输出为所述人体精确预测网络的输入，人体精确预测网络输出人体区域边界框，并对所述人体区域边界框中的人体骨骼关键点进行预测；所述人脸判别修正网络的输出为所述人脸精确预测网络的输入，人脸精确预测网络输出人脸区域边界框，并对所述人脸区域边界框中的人脸关键点进行预测；所述人手判别修正网络的输出为所述人手精确预测网络的输入，人手精确预测网络输出人手区域边界框，并对所述人手区域边界框中的人手关键点进行预测。
以上三个模块中，最为耗时的是初筛模块，对于视频帧来说，一旦完成了当前帧的检测后，便可将当前帧的检测输出结果进行简单的偏移与缩放，来作为下一帧的判别修正模块的输入，从而跳过初筛模块，以此实现视频图像中目标的跟踪，极大地减少运算量和执行时间。虽然系统中网络数量较多，但是由于每个网络的任务很简单，仅仅只需要很小的网络模型便能达到很好的效果，执行时间也都在毫秒级别。
以下详细介绍各个模块的实现细节：
(一)初筛模块
本模块只包含1个深度神经网络，即初筛网络，网络的输入是完整的图像数据，该图像包括静态图像和动态图像，网络的输出是图像中包含了目标物体的区域位置，以及目标是某个类别的概率。
(1)初筛网络的结构
本发明实施例中，将需要检测的目标分为三类，分别是人体类，人脸类，人手类，所以初筛网络的任务就是预测出输入图像中哪些区域包含这三种目标，区域以边界框的形式表示，即：x,y,w,h四个值，x,y表示区域的中心坐标，w,h表示区域的宽和高，另外还会输出这个区域所框定的物体，是某个类型的概率，即：c1,c2,c3分别表示人体，人脸和人手类别的概率。x,y,w,h,c1,c2,c3这7个值便可以框定出一个目标物体。
初筛网络是一个全卷积的深度神经网络，为了达到速度和准确度的平衡，将整个网络的下采样倍数定为48，也就是当输入图像尺寸为432×432时，输出的Feature map尺寸为9×9，总共81个锚点，对应输入图像上的81个分块；当输入图像尺寸为336×336时，输出的Feature map尺寸为7×7，总共49个锚点，对应输入图像上的49个分块。当输入图像上某个目标物体的中心落入某个分块时，则由这个分块对应的锚点来对物体进行预测。
由此可知，当输出尺寸较小，比如为5×5时，最多只能预测出25个目标区别，在某些情况下，这并不足以检测出所有的目标，为了提升预测效果，让Feature map中的每一个锚点，负责预测3种不同比例和尺寸的区域，即：在同一个锚点位置，输出3组x,y,w,h,c1,c2,c3，其中的w,h按所选的3种比例缩放。最终能检测到的目标区域便多了3倍，也就是输出的Feature map通道数量为7×3，总共21个通道。
(2)初筛网络的训练
由于初筛网络是一个全卷积网络，所以可以使用任意尺寸的输入，训练时会随机采用不同尺寸的输入，以得到分辨率无关的模型。
每次的反向传播只针对一个具体的任务进行训练。由于并没有现成的对一张图进行完善的人脸、人手、人体区域标注的数据集，只有分散的仅标注了人脸区域的数据集、仅标注了人手区域的数据集、以及只标注了人体区域的数据集。本发明直接使用这种分散标注的数据集，在训练初筛网络时，每次随机选取一个任务进行训练，而对其它两个任务不进行loss传递，同样达到了使用完善标注数据集的效果。
(3)初筛网络的使用
输入图像在经过初筛网络后，便可得到一系列的包含目标物体的区域，通过类别概率值，过滤掉一些无用区域。对剩下的区域使用非极大值抑制(Non-maximumsuppression,NMS)算法进行合并，得到最终输出。
初筛网络的最终输出，便是输入图像中，哪些区域很有可能包含了人体、人手或人脸。到这个阶段，这些区域还是不精确的，有重复的，甚至是错判的，所以还需要后续的判别修正模块进行修正。
(二)判别修正模块
本模块包含3个深度神经网络，即人体判别修正网络、人脸判别修正网络、人手判别修正网络，以人体判别修正网络为例，该网络有两个任务，第一，对初筛网络所输出的可能包含人体的区域进行再次判定，过滤掉假阳性(false positive)区域；第二，对区域范围再次进行预测，让边界框更准确的框定目标人体。人脸与人手判别修正网络同理，不再赘述。
(1)判别修正网络的结构
判别修正网络的结构为在全卷积的深度神经网络之后接上全连接网络，来完成回归预测的任务。判别修正网络的输入是来自于初筛网络所输出的对应类别的可能区域，也就是将初筛网络给出的可能是人体类的区域，送入人体判别修正网络；可能是人脸类的区域，送入人脸判别修正网络；可能是人手类的区域，送入人手判别修正网络。判别修正网络的输出是重新预测出的边界框x,y,w,h以及重新预测出的类别概率c，总共5个值，最终便可以根据类别概率过滤掉初筛网络错判的区域，并且修正初筛网络框定过小或框定过大的区域，得到更准确的边界框。
为了效率和准确性的平衡，人体判别修正网络的输入使用较大的48×48的输入尺寸，因为人体有站立、侧躺、坐等姿势，或者只有半身的情况，人体区域的高宽比例变化剧烈，需要较大的输入分辨率，才能有较好的预测结果。对于人手和人脸宽高比例变化不大的区域，使用24×24的输入尺寸，便能满足需求。除此之外，本模块中的3个深度神经网络结构是一致的，只是在判断类别上有所区别。
(2)判别修正网络的训练
判别修正网络的训练数据是来自于初筛网络容易判断出错的样本，这能让判别修正网络不必在容易判别的样本、或能被初筛网络过滤的样本上分散注意力，简化了判别修正网络的任务，能更有效地纠正初筛网络的结果。
(3)判别修正网络的使用
根据上一个模块(可能来自于初筛网络，也可能来自于上一帧结果生成)的输出，按类别从输入图像中裁剪出对应的区域，并缩放至判别修正网络的输入尺寸，进行再次的判别与修正。至此，判别修正网络的输出已经是比较准确的区域，如果只是需要边界框的检测功能，而不需要精确的关键点检测，那么到这个模块的输出已经能作为最终的输出结果。这种灵活的拆分与组合，也是本发明的优点之一，在移动设备上优势更加突显。
(三)精确预测模块
本模块包含3个深度神经网络，即人体精确预测网络、人脸精确预测网络、人手精确预测网络。以人体精确预测网络为例，该网络有两个任务，第一，对判别修正网络给出的人体区域范围再次进行预测，让边界框更准确的框定目标人体；第二，对人体骨骼关键点进行预测。人脸与人手精确预测网络同理，区别在于关键点预测分别为人脸关键点与人手关键点。
(1)精确预测网络的结构
精确预测网络的结构同样是在全卷积的深度神经网络之后接上全连接网络。其输入来自于判别修正网络输出的对应类别的区域，输出为重新预测出的边界框x,y,w,h，和一系列的关键点输出值。以人脸精确预测网络为例，输出值便是x,y,w,h的新边界框值，加上104个关键点的坐标(x0,y0)到(x103,y103)，也就是104×2+4总共212个值。本模块中的3个深度神经网络结构除了在输出值的数量上有所区别，其余部分都是一致的，均使用64×64的输入尺寸。
(2)精确预测网络的训练
由于在判别修正网络中已经有了较准确的边界框预测，所以在精确预测网络中，边界框纠正的任务使用一个较低的权重值，而将网络的主要任务定为关键点的预测，简化非主要任务，提高网络主要任务的精度，从而得到精准的人脸关键点、人手关键点、人体骨骼关键点。
(3)精确预测网络的使用
根据判别修正网络的输出，按类别从输入图像中裁剪出对应的区域，并缩放至精确预测网络的输入尺寸，进行精确的关键点预测。至此，便得到了整个系统的最终输出，也就是输入图像中的哪些区域包含了人体、人手或者人脸，以及人体骨骼关键点、人手关键点、以及人脸关键点。
由于视频帧通常是连续的，目标物(人体)在帧与帧之间的位置通常也是连续变化的，且本发明中的判别修正模块与精确预测模块有很强的纠错能力，基于这些便可实现目标物的实时跟踪功能。具体地，当采用本发明所述的检测人体部位的系统对输入的视频图像进行检测时，获取所述视频图像当前帧的第三边界范围；对所述第三边界范围进行偏移与缩放，生成一组兴趣区域；对所述视频图像的下一帧进行检测时，直接将所述兴趣区域作为所述判别修正模块的输入，从而跳过较耗时的初筛模块。判别修正模块会进一步准确预测出目标物变化后的位置，再交由精确预测模块进行精确预测，从而实现实时、快速地跟踪功能。当在所述兴趣区域中没有检测到所述当前帧的第三边界范围时，将所述初筛模块作为所述判别修正模块的输入，即当兴趣区域中没有检测到目标物时，使用初筛网络寻找目标物。当达到预定检测帧数或预定时间间隔时，也需要使用初筛网络寻找新出现的目标物，即将所述初筛模块作为所述判别修正模块的输入。
本发明实施例提供的检测人体部位的系统及方法，将复杂的检测任务拆分为简单的小目标，即将整个检测系统拆分为初筛模块、判别修正模块、精确预测模块，每个模块中又包含多个检测网络，即初筛网络、人体判别修正网络、人脸判别修正网络、人手判别修正网络、人体精确预测网络、人脸精确预测网络、人手精确预测网络，每个网络负责预测或修正相应的区域或关键点，由于每个网络的任务简单，因此，每个网络的模型较小，对其进行训练的样本数据也较少，并且样本数据也较容易获取，即使将上述网络组合起来，其模型的大小也是现有的移动设备能够承受的。由于整个系统由各个模块组合而成，因此各个模块可根据需求打开或者关闭，当不需要某种类别的检测时，或者输入图像中不存在某种类别时，系统可直接跳过该检测项目而直接执行下一个步骤，从而极大地减小了运算量、节省了运算资源，这对内存有限的移动设备来说非常实用。此外，当输入图像为视频图像时，系统在获取了视频图像当前帧的第三边界范围后，生成一组兴趣区域，这样，当对视频图像的下一帧进行检测时，直接将该兴趣区域作为判别修正模块的输入，跳过了较为耗时的初筛模块，使系统的运算速率大大提升，从而能够实现对于视频图像中目标区域的实时跟踪。
本发明提出了一种资源占用极少、速度快、准确率高的人体综合检测系统及方法，其能够在现有的移动设备上实时检测人体各部位。本发明实时例中的系统模型文件小、内存占用少、运算量小，对目标区域进行多次修正与判别，框定准确，误判与漏检少。实验数据表明，本发明能在iPhone 6上以平均12ms每帧的速度，完成上述功能，模型文件6M，占用内存50M。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种检测人体部位的系统，其特征在于，包括：
初筛模块，用于对输入图像中的人体预定区域进行初步预测，输出人体预定区域的第一边界范围；所述第一边界范围包括一个以上边界框；
判别修正模块，用于过滤掉所述第一边界范围中预测错误的区域，并对所述第一边界范围中预测正确的区域进行修正，输出所述人体预定区域的第二边界范围；所述第二边界范围包括一个以上边界框。
2.根据权利要求1所述的检测人体部位的系统，其特征在于，还包括：
精确预测模块，用于对所述第二边界范围进行修正，输出所述人体预定区域的第三边界范围，并对所述第三边界范围中的预定关键点进行预测；所述第三边界范围包括一个以上边界框和一个以上关键点标识。
3.根据权利要求2所述的检测人体部位的系统，其特征在于，
所述人体预定区域包括：人体，人脸，人手；所述预定关键点包括：人体骨骼关键点，人脸关键点，人手关键点；所述初筛模块包括：初筛网络，合并单元；所述判别修正模块包括：人体判别修正网络，人脸判别修正网络，人手判别修正网络；所述精确预测模块包括：人体精确预测网络，人脸精确预测网络，人手精确预测网络；
所述初筛网络对输入图像中的人体预定区域进行初步预测，并将初步预测结果传送至所述合并单元；所述合并单元对所述初步预测结果采用非极大值抑制算法进行合并，获取人体预定区域的第一边界范围；所述初筛网络还输出所述第一边界范围中每个边界框的以下三个概率值：边界框为人体的概率值，边界框为人脸的概率值，边界框为人手的概率值；所述合并单元将所述每个边界框按照所述三个概率值相应地送入所述人体判别修正网络，或人脸判别修正网络，或人手判别修正网络；
所述人体判别修正网络的输出为所述人体精确预测网络的输入，人体精确预测网络输出人体区域边界框，并对所述人体区域边界框中的人体骨骼关键点进行预测；所述人脸判别修正网络的输出为所述人脸精确预测网络的输入，人脸精确预测网络输出人脸区域边界框，并对所述人脸区域边界框中的人脸关键点进行预测；所述人手判别修正网络的输出为所述人手精确预测网络的输入，人手精确预测网络输出人手区域边界框，并对所述人手区域边界框中的人手关键点进行预测。
4.根据权利要求3所述的检测人体部位的系统，其特征在于，还包括：初筛网络训练模块，用于对所述初筛网络进行训练；所述对所述初筛网络进行训练包括：对人体区域预测任务进行训练，对人脸区域预测任务进行训练，对人手区域预测任务进行训练；
所述对所述初筛网络进行训练的方法为：获取标注了人体区域的数据集、标注了人脸区域的数据集、标注了人手区域的数据集；采用所述标注了人体区域的数据集对人体区域预测任务进行训练，对所述人脸区域预测任务和所述人手区域预测任务不进行loss传递；采用所述标注了人脸区域的数据集对人脸区域预测任务进行训练，对所述人体区域预测任务和所述人手区域预测任务不进行loss传递；采用所述标注了人手区域的数据集对人手区域预测任务进行训练，对所述人脸区域预测任务和所述人体区域预测任务不进行loss传递。
5.根据权利要求3所述的检测人体部位的系统，其特征在于，还包括：判别修正网络训练模块，用于对所述人体判别修正网络、人脸判别修正网络、人手判别修正网络进行训练；所述判别修正网络训练模块的训练数据为所述初筛网络容易判断出错的数据样本；
还包括：精确预测网络训练模块，用于对所述人体精确预测网络、人脸精确预测网络、人手精确预测网络进行训练。
6.根据权利要求3所述的检测人体部位的系统，其特征在于，所述初筛网络、人体判别修正网络、人脸判别修正网络、人手判别修正网络、人体精确预测网络、人脸精确预测网络、人手精确预测网络均为深度神经网络。
7.根据权利要求6所述的检测人体部位的系统，其特征在于，所述初筛网络的结构为全卷积的深度神经网络；所述人体判别修正网络、人脸判别修正网络、人手判别修正网络、人体精确预测网络、人脸精确预测网络、人手精确预测网络的结构均为在全卷积的深度神经网络之后接上全连接网络。
8.根据权利要求7所述的检测人体部位的系统，其特征在于，所述初筛网络的下采样倍数为48；所述人体判别修正网络的输入分辨率为48×48；所述人脸判别修正网络、人手判别修正网络的输入分辨率均为24×24；所述人体精确预测网络、人脸精确预测网络、人手精确预测网络的输入分辨率均为64×64。
9.一种使用如权利要求3至8任意一项所述的检测人体部位的系统检测人体部位的方法，其特征在于，包括：
对输入的视频图像进行检测，获取所述视频图像当前帧的第三边界范围；
对所述第三边界范围进行偏移与缩放，生成一组兴趣区域；
对所述视频图像的下一帧进行检测时，直接将所述兴趣区域作为所述判别修正模块的输入；
当在所述兴趣区域中没有检测到所述当前帧的第三边界范围时，将所述初筛模块作为所述判别修正模块的输入。
10.根据权利要求9所述的检测人体部位的方法，其特征在于，还包括：
当达到预定检测帧数或预定时间间隔时，将所述初筛模块作为所述判别修正模块的输入。
CN201810246867.3A 2018-03-23 2018-03-23 一种检测人体部位的系统及方法 Active CN108460362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810246867.3A CN108460362B (zh) 2018-03-23 2018-03-23 一种检测人体部位的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810246867.3A CN108460362B (zh) 2018-03-23 2018-03-23 一种检测人体部位的系统及方法

Publications (2)

Publication Number Publication Date
CN108460362A true CN108460362A (zh) 2018-08-28
CN108460362B CN108460362B (zh) 2021-11-30

Family

ID=63237336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810246867.3A Active CN108460362B (zh) 2018-03-23 2018-03-23 一种检测人体部位的系统及方法

Country Status (1)

Country Link
CN (1) CN108460362B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145922A (zh) * 2018-09-10 2019-01-04 成都品果科技有限公司 一种自动抠图系统
CN109508661A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于物体检测和姿态估计的举手者检测方法
CN109711273A (zh) * 2018-12-04 2019-05-03 北京字节跳动网络技术有限公司 图像关键点提取方法、装置、可读存储介质及电子设备
CN109801270A (zh) * 2018-12-29 2019-05-24 北京市商汤科技开发有限公司 锚点确定方法及装置、电子设备和存储介质
CN109858444A (zh) * 2019-01-31 2019-06-07 北京字节跳动网络技术有限公司 人体关键点检测模型的训练方法和装置
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及系统
WO2020093799A1 (zh) * 2018-11-06 2020-05-14 华为技术有限公司 一种图像处理方法和装置
CN112287760A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于行为监控的机场人物危险性量化方法
CN112541418A (zh) * 2020-12-04 2021-03-23 北京百度网讯科技有限公司 用于图像处理的方法、装置、设备、介质和程序产品
WO2021051650A1 (zh) * 2019-09-18 2021-03-25 北京市商汤科技开发有限公司 人脸和人手关联检测方法及装置、电子设备和存储介质
CN112800982A (zh) * 2021-02-01 2021-05-14 苏州喆鑫信息科技有限公司 一种基于遥感场景分类的目标检测方法
WO2022121933A1 (zh) * 2020-12-10 2022-06-16 通力股份公司 用于设置自动扶梯的情景检测模块的状态的方法和装置
WO2022150978A1 (en) * 2021-01-12 2022-07-21 Nvidia Corporation Neighboring bounding box aggregation for neural networks

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
CN102609680A (zh) * 2011-12-22 2012-07-25 中国科学院自动化研究所 一种基于三维深度图像信息的并行统计学习人体部位检测方法
WO2013063767A1 (en) * 2011-11-01 2013-05-10 Intel Corporation Dynamic gesture based short-range human-machine interaction
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统
CN105138975A (zh) * 2015-08-13 2015-12-09 济南大学 一种基于深度信念网络的人体肤色区域分割方法
CN105678242A (zh) * 2015-12-30 2016-06-15 小米科技有限责任公司 手持证件模式下的对焦方法和装置
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN107506707A (zh) * 2016-11-30 2017-12-22 奥瞳系统科技有限公司 采用嵌入式系统中的小规模卷积神经网络模块的人脸检测
CN107545584A (zh) * 2017-04-28 2018-01-05 上海联影医疗科技有限公司 医学图像中定位感兴趣区域的方法、装置及其系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090022403A1 (en) * 2007-07-20 2009-01-22 Fujifilm Corporation Image processing apparatus, image processing method, and computer readable medium
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
WO2013063767A1 (en) * 2011-11-01 2013-05-10 Intel Corporation Dynamic gesture based short-range human-machine interaction
CN102609680A (zh) * 2011-12-22 2012-07-25 中国科学院自动化研究所 一种基于三维深度图像信息的并行统计学习人体部位检测方法
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN103679175A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于深度摄像机的快速3d骨骼模型检测方法
CN104952063A (zh) * 2014-03-25 2015-09-30 Metaio有限公司 用于在真实环境的视图中表示虚拟对象的方法和系统
CN105138975A (zh) * 2015-08-13 2015-12-09 济南大学 一种基于深度信念网络的人体肤色区域分割方法
CN105678242A (zh) * 2015-12-30 2016-06-15 小米科技有限责任公司 手持证件模式下的对焦方法和装置
CN107506707A (zh) * 2016-11-30 2017-12-22 奥瞳系统科技有限公司 采用嵌入式系统中的小规模卷积神经网络模块的人脸检测
CN107545584A (zh) * 2017-04-28 2018-01-05 上海联影医疗科技有限公司 医学图像中定位感兴趣区域的方法、装置及其系统
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
蔡菁: "基于Kinect的疲劳驾驶综合监测系统研究", 《计算机工程与科学》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145922A (zh) * 2018-09-10 2019-01-04 成都品果科技有限公司 一种自动抠图系统
CN109145922B (zh) * 2018-09-10 2022-03-29 成都品果科技有限公司 一种自动抠图系统
CN109508661B (zh) * 2018-10-31 2021-07-09 上海交通大学 一种基于物体检测和姿态估计的举手者检测方法
CN109508661A (zh) * 2018-10-31 2019-03-22 上海交通大学 一种基于物体检测和姿态估计的举手者检测方法
US11917288B2 (en) 2018-11-06 2024-02-27 Huawei Technologies Co., Ltd. Image processing method and apparatus
WO2020093799A1 (zh) * 2018-11-06 2020-05-14 华为技术有限公司 一种图像处理方法和装置
CN109711273A (zh) * 2018-12-04 2019-05-03 北京字节跳动网络技术有限公司 图像关键点提取方法、装置、可读存储介质及电子设备
CN109801270A (zh) * 2018-12-29 2019-05-24 北京市商汤科技开发有限公司 锚点确定方法及装置、电子设备和存储介质
TWI773945B (zh) * 2018-12-29 2022-08-11 大陸商北京市商湯科技開發有限公司 錨點確定方法、電子設備和儲存介質
US11301726B2 (en) 2018-12-29 2022-04-12 Beijing Sensetime Technology Development Co., Ltd. Anchor determination method and apparatus, electronic device, and storage medium
CN109801270B (zh) * 2018-12-29 2021-07-16 北京市商汤科技开发有限公司 锚点确定方法及装置、电子设备和存储介质
CN109858444A (zh) * 2019-01-31 2019-06-07 北京字节跳动网络技术有限公司 人体关键点检测模型的训练方法和装置
CN110147738A (zh) * 2019-04-29 2019-08-20 中国人民解放军海军特色医学中心 一种驾驶员疲劳监测预警方法及系统
WO2021051650A1 (zh) * 2019-09-18 2021-03-25 北京市商汤科技开发有限公司 人脸和人手关联检测方法及装置、电子设备和存储介质
CN112287760A (zh) * 2020-09-26 2021-01-29 浙江汉德瑞智能科技有限公司 基于行为监控的机场人物危险性量化方法
CN112541418A (zh) * 2020-12-04 2021-03-23 北京百度网讯科技有限公司 用于图像处理的方法、装置、设备、介质和程序产品
WO2022121933A1 (zh) * 2020-12-10 2022-06-16 通力股份公司 用于设置自动扶梯的情景检测模块的状态的方法和装置
WO2022150978A1 (en) * 2021-01-12 2022-07-21 Nvidia Corporation Neighboring bounding box aggregation for neural networks
CN112800982A (zh) * 2021-02-01 2021-05-14 苏州喆鑫信息科技有限公司 一种基于遥感场景分类的目标检测方法

Also Published As

Publication number Publication date
CN108460362B (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN108460362A (zh) 一种检测人体部位的系统及方法
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN105389562B (zh) 一种时空约束的监控视频行人重识别结果的二次优化方法
CN107833221A (zh) 一种基于多通道特征融合和机器学习的漏水监测方法
CN105208325B (zh) 基于图像定点抓拍及比对分析的国土资源监控预警方法
CN110163041A (zh) 视频行人再识别方法、装置及存储介质
CN110210474A (zh) 目标检测方法及装置、设备及存储介质
CN110139067A (zh) 一种野生动物监测数据管理信息系统
CN109284735B (zh) 鼠情监控方法、装置及存储介质
CN112257799A (zh) 一种生活垃圾目标检测的方法、系统及装置
CN112396635B (zh) 一种基于多设备的复杂环境下多目标检测方法
Song et al. MSFYOLO: Feature fusion-based detection for small objects
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN110399822A (zh) 基于深度学习的举手动作识别方法、装置及存储介质
CN110009628A (zh) 一种针对连续二维图像中多形态目标的自动检测方法
CN111553321A (zh) 一种流动商贩目标检测模型、检测方法及其管理方法
CN109191419A (zh) 基于机器学习的实时压板检测及状态识别系统及方法
CN109389105A (zh) 一种基于多任务的虹膜检测和视角分类方法
CN112561801A (zh) 基于se-fpn的目标检测模型训练方法、目标检测方法及装置
CN106503610A (zh) 视频识别方法和装置
CN104766100B (zh) 基于机器学习的红外小目标图像背景预测方法与装置
CN112597995B (zh) 车牌检测模型训练方法、装置、设备及介质
CN111652168B (zh) 基于人工智能的群体检测方法、装置、设备及存储介质
CN113297956A (zh) 一种基于视觉的手势识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant