CN111639602B - 一种行人遮挡及朝向检测方法 - Google Patents

一种行人遮挡及朝向检测方法 Download PDF

Info

Publication number
CN111639602B
CN111639602B CN202010481781.6A CN202010481781A CN111639602B CN 111639602 B CN111639602 B CN 111639602B CN 202010481781 A CN202010481781 A CN 202010481781A CN 111639602 B CN111639602 B CN 111639602B
Authority
CN
China
Prior art keywords
pedestrian
confidence
shielding
detection
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010481781.6A
Other languages
English (en)
Other versions
CN111639602A (zh
Inventor
韩守东
潘孝枫
郑丽君
夏晨斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010481781.6A priority Critical patent/CN111639602B/zh
Publication of CN111639602A publication Critical patent/CN111639602A/zh
Application granted granted Critical
Publication of CN111639602B publication Critical patent/CN111639602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种行人遮挡及朝向检测方法，包括以下步骤：S11、采用行人检测模型对待检测图像进行检测，得到行人检测框，根据行人检测框将行人目标从待检测图像中剪裁出来，得到单个的行人目标图像，并对行人目标图像中的行人关键点进行检测，得到待检测图像上各关键点的置信度；S12、根据人体结构中关键点与部位之间的关系，结合所得各关键点的置信度，得到行人各部位的遮挡预测分数；S13、分别将行人各部位的遮挡预测分数与预设部位遮挡阈值进行比较，判断行人各部位是否被遮挡；该方法通过对行人各部位的遮挡状态进行判断，并不依赖于行人可视部分的面积，不仅遮挡检测结果的准确性较高，而且也可以准确的检测出遮挡的部位。

Description

一种行人遮挡及朝向检测方法
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种行人遮挡及朝向检测方法。
背景技术
行人检测中的遮挡分析是计算机视觉应用领域中的一个重要研究领域，遮挡是行人检测中主要的实践难题，因为现实世界中的场景充满了很多的人或物，行人检测过程中不可避免的出现类间遮挡和类内遮挡，特别是在门禁系统中，行人检测的要求较高，对行人遮挡及朝向判断比较敏感，但是计算机并不像人类那样对遮挡事物有着良好的感知与预测，因此研究一种行人遮挡及朝向检测方法存在重要的意义。
现有的遮挡检测方法将行人检测的结果分成多个网格，计算每个网格中行人的面积与网格面积的比值，并通过学习分类，得出行人整体的遮挡评估分数，并基于该遮挡评估分数进一步判断行人是否被遮挡；该方法依赖于行人可视部分的面积进行检测，当行人部分存在遮挡，部分完全可视时，该方法也可能会得到较高的置信度，从而判断为未遮挡，并进一步应用到如行人追踪等任务中，遮挡检测结果的准确性较低；另外，单一的遮挡评估分数并不能有效的反映出具体的遮挡部位信息，无法精确得到行人的具体遮挡部位。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供一种行人遮挡及朝向检测方法，用以解决现有技术由于依赖于行人可视部分的面积进行遮挡检测而导致的行人遮挡检测结果的准确性较低的技术问题。
为了实现上述目的，第一方面，本发明提出了一种行人遮挡检测方法，包括以下步骤：
S11、采用预训练好的行人检测模型对待检测图像进行检测，得到行人检测框，根据所得的行人检测框将行人目标从待检测图像中剪裁出来，得到单个的行人目标图像，并对行人目标图像中的行人关键点进行检测，进而得到待检测图像上各关键点的置信度；
S12、根据人体结构中关键点与部位之间的关系，结合所得各关键点的置信度，得到行人各部位的遮挡预测分数；
S13、分别将所得行人各部位的遮挡预测分数与预设部位遮挡阈值进行比较，若遮挡预测分数小于预设部位遮挡阈值，则该部位被遮挡，否则未被遮挡；
其中，行人关键点包括行人的五官和关节。
进一步优选地，行人关键点包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝和右踝；行人部位包括：头部、肩膀、左臂、右臂、臀部、躯干、左腿和右腿。
进一步优选地，上述行人检测模型为YOLOv3模型，该模型基于MSCOCO目标检测数据集训练得到；
采用预训练好的FastPose模型对行人目标图像中的行人关键点进行检测；其中，Fast Pose模型基于MS COCO关键点检测数据集训练得到。
进一步优选地，步骤S12中所得行人各部位的遮挡预测分数为：
Figure BDA0002515253200000031
其中，Head、Shoulder、Leftarm、Rightarm、Hip、Body、Leftleg、Rightleg分别为行人的头部、肩膀、左臂、右臂、臀部、躯干、左腿、右腿的遮挡预测分数，nose为鼻子的置信度，Lefteye和Righteye分别为左、右眼睛的置信度，Leftear为左耳置信度，Rightear为右耳的置信度，Leftshoulder为左肩膀的置信度，Rightshoulder为右肩膀的置信度，Leftelbow为左肘部的置信度，Leftwrist为左手腕的置信度，Rightelbow为右肘部的置信度，Rightwrist为右手腕的置信度，Lefthip为左臀部的置信度，Righthip为右臀部的置信度，Leftknee为左膝盖的置信度，Leftankle为左脚踝的置信度，Rightknee为右膝盖的置信度，Rightankle为右脚踝的置信度。
进一步优选地，得到预设遮挡阈值的方法，包括以下步骤：
S01、初始化预设遮挡阈值；
S02、对MS COCO关键点检测数据集中的图像，分别采用上述步骤S11-S13进行遮挡检测，并将检测结果与实际部位遮挡结果进行对比，计算检测结果的准确率，并记录下来；
S03、增大预设遮挡阈值，使其加上预设增量；
S04、重复步骤S02-S03进行迭代，直至达到迭代次数上限，准确率最高的检测结果所对应的预设遮挡阈值即为所求。
第二方面，本发明提出了一种行人遮挡检测方法，应用于门禁系统遮挡检测场景下，包括以下步骤：
S21、采用预训练好的行人检测模型对待检测图像进行检测，得到行人检测框，根据所得的行人检测框将行人目标从待检测图像中剪裁出来，得到单个的行人目标图像，并对行人目标图像中的行人关键点进行检测，进而得到待检测图像上行人各关键点的坐标及其置信度；
S22、分别将所得行人各关键点的置信度与预设关键点遮挡阈值进行比较，若关键点置信度小于预设关键点遮挡阈值，则将其从检测到的行人关键点中过滤掉，即未检测到该关键点；根据剩余的各关键点的坐标，结合人体结构中关键点与部位之间的关系，得到各部位的中心点坐标；其中，对于行人的各部位，若构成该部位的关键点中至少有一个未检测到，则将该部位的中心点坐标记未无效值；
S23、对于行人各部位的中心点坐标，分别计算其中有效值所对应的各部位的中心点到行人检测框的上、下、左、右四个边界的距离；对于各边界，分别按照行人各部位的中心点到该边界的距离，从小到大依次将行人部位投影到该边界上，得到携带行人部位信息的行人检测框；其中，若后投影部位的投影结果完全被先投影部位的投影结果所覆盖，则不在该边界上记录后投影部位信息；
S24、对所得携带行人部位信息的行人检测框的上、下、左、右边界上的行人部位信息进行统计，并与行人部位集进行比较，缺少的部位，即为遮挡部位；
其中，行人关键点包括行人的五官和关节。
进一步优选地，行人关键点包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝和右踝；行人部位包括：头部、肩膀、左上臂、右上臂、左下臂、右下臂、臀部、躯干、左大腿、右大腿、左小腿和右小腿；行人各部位构成行人部位集。
进一步优选地，上述行人检测模型为YOLOv3模型，该模型基于MSCOCO目标检测数据集训练得到；
采用预训练好的Fast Pose模型对行人目标图像中的行人关键点进行检测；其中，Fast Pose模型基于MS COCO关键点检测数据集训练得到。
第三方面，本发明提出了一种行人朝向检测方法，应用于门禁系统遮挡检测场景下，包括以下步骤：
S31、按照本发明第二方面所提出的行人遮挡检测方法中的步骤S21-S23，得到携带行人部位信息的行人检测框；
S32、对所得携带行人部位信息的行人检测框的左边界或右边界上的行人部位信息进行统计，通过比较左边界或右边界上人体左半边部位和人体右半边部位的数量大小，来判断行人的朝向。
进一步优选地，若左边界上人体左半边部位多于人体右半边部位或者右边界上人体右半边部位多于人体左半边部位，则行人背朝摄像头；若左边界上人体右半边部位多于人体左半边部位或者右边界上人体左半边部位多于人体右半边部位，则行人面朝摄像头。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
1、本发明第一方面所提出的行人遮挡检测方法，根据人体结构中关键点与部位之间的关系，结合所得各关键点的置信度，得到行人各部位的遮挡预测分数，并将所得行人各部位的遮挡预测分数与预设部位遮挡阈值进行比较，实现对行人遮挡的检测；该方法通过检测行人的关键点，并基于行人关键点和部位之间的关系，可以准确的预测出遮挡的部位，通过将行人遮挡检测任务划分为行人各部位的遮挡检测子任务，对行人各部位的遮挡状态进行判断，当行人某一部位存在遮挡时，则行人存在遮挡，并不依赖于行人可视部分的面积，不仅遮挡检测结果的准确性较高，而且也可以准确的检测出遮挡的部位。
2、本发明第二方面所提出的行人遮挡检测方法，通过基于各部位的中心点坐标来计算部位与检测框各边界之间的距离，并按照距离优先的方式，将检测到的行人的各部位信息投影到行人检测框上，从而实现对行人检测框的语义编码，使得原有的单一的行人检测框还包含所检测到的行人各部位的信息，通过对行人检测框上的行人部位信息进行统计分析，确定遮挡部位；该方法通过将行人遮挡检测任务划分为行人各部位的遮挡检测子任务，可以准确的检测出遮挡的部位，遮挡检测结果的准确性较高。
3、本发明第二方面所提出的行人遮挡检测方法，通过对行人检测框所携带的信息进行扩展，使得其不仅可以表示行人的具体位置，还携带有行人各部位的信息，可以方便的应用到其他行人检测或识别任务中，实现与其他任务到耦合，扩展性较强。
4、本发明第一方面和第二方面所提出的行人遮挡检测方法，通过准确检测到行人具体的遮挡部位，使得其用于行人追踪时，可以准确的避开被遮挡部位，只对未遮挡部位进行匹配，并不对行人整体进行匹配，避免了遮挡部位对匹配结果的影响，可以大大提高行人追踪的准确率。
5、本发明第三方面所提出的行人朝向检测方法，通过对携带行人部位信息的行人检测框的左边界或右边界上的行人部位信进行统计，通过比较左边界或右边界上人体左半边部位和人体右半边部位的数量大小，来判断行人的朝向，通过行人朝向的判定，不同于传统的单纯的利用行人检测框位置的变化来进行行人方向判定的方法，本方法充分利用了行人检测框的部位语义编码信息，通过对行人各部位对方位信息进行统计来确定行人朝向，不受外界环境对影响，更加准确；同时，该方法所得的结果也可以作为先验信息，进一步应用到行人计数任务中，更加简单便捷。
附图说明
图1为本发明实施例1提供的一种行人遮挡检测方法流程图；
图2为本发明实施例1提供的行人关键点和部位示意图；
图3为本发明实施例1提供的预设遮挡阈值与准确率的关系曲线示意图；
图4为本发明实施例2提供的一种行人遮挡检测方法流程图；
图5为本发明实施例2提供行人关键点和部位中心点的示意图；其中，(a)为行人关键点示意图；(b)为行人部位中心点示意图；
图6为本发明实施例2提供的行人各部位中心点到行人检测框右边界的距离示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1、
一种行人遮挡检测方法，如图1所示，包括以下步骤：
S11、采用预训练好的行人检测模型对待检测图像进行检测，得到行人检测框，根据所得的行人检测框将行人目标从待检测图像中剪裁出来，得到单个的行人目标图像，并对行人目标图像中的行人关键点进行检测，进而得到待检测图像上各关键点的置信度；
其中，如图2所示，行人关键点包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝和右踝；行人部位包括：头部、肩膀、左臂、右臂、臀部、躯干、左腿和右腿；其中，分别对行人各关键点进行编号如下：鼻子-0，左眼-1，右眼-2，左耳-3，右耳-4，左肩-5，右肩-6，左肘-7，右肘-8，左腕-9，右腕-10，左臀-11，右臀-12，左膝-13，右膝-14，左踝-15，右踝-16，如图2中的圆圈所示。
具体的，上述行人检测模型为YOLOv3模型，该模型基于MS COCO目标检测数据集训练得到。采用预训练好的Fast Pose模型对行人目标图像中的行人关键点进行检测；其中，Fast Pose模型是一个单人关键点检测模型，基于MS COCO关键点检测数据集训练得到。具体的，采用预训练好的Fast Pose模型对行人目标图像中的行人关键点进行检测时，将输入的行人目标图像处理成320×256的大小尺寸后，通过采用ResNet主干网络提取特征，得到2048×10×8的特征图，然后对特征图进行pixelshuffle的方式进行上采样，得到512×20×16的特征，再通过两个相同的卷积和pixelshuffle的上采样方式，得到128×80×64的热力图，通过对热力图进行预测回归，得到最后各部位关键点的预测结果。
S12、根据人体结构中关键点与部位之间的关系，结合所得各关键点的置信度，得到行人各部位的遮挡预测分数；
具体的，根据行人人体结构中关键点与部位之间的关系，结合人体部位的自然比例，得到行人各部位的遮挡预测分数为：
Figure BDA0002515253200000081
其中，Head、Shoulder、Leftarm、Rightarm、Hip、Body、Leftleg、Rightleg分别为行人的头部、肩膀、左臂、右臂、臀部、躯干、左腿、右腿的遮挡预测分数，nose为鼻子的置信度，Lefteye和Righteye分别为左、右眼睛的置信度，Leftear为左耳置信度，Rightear为右耳的置信度，Leftshoulder为左肩膀的置信度，Rightshoulder为右肩膀的置信度，Leftelbow为左肘部的置信度，Leftwrist为左手腕的置信度，Rightelbow为右肘部的置信度，Rightwrist为右手腕的置信度，Leftnip为左臀部的置信度，Righthip为右臀部的置信度，Leftknee为左膝盖的置信度，Leftankle为左脚踝的置信度，Rightknee为右膝盖的置信度，Rightankle为右脚踝的置信度。
S13、分别将所得行人各部位的遮挡预测分数与预设部位遮挡阈值进行比较，若遮挡预测分数小于预设部位遮挡阈值，则该部位被遮挡，否则未被遮挡。
具体的，得到预设遮挡阈值的方法，包括以下步骤：
S01、初始化预设遮挡阈值；
S02、对MS COCO关键点检测数据集中的图像，分别采用上述步骤S11-S13中进行遮挡检测，并将检测结果与实际部位遮挡结果进行对比，计算检测结果的准确率，并记录下来；具体地，检测结果的准确率
Figure BDA0002515253200000091
其中TP表示检测结果与实际结果相同的结果数，FP表示检测结果与实际结果不相同的结果数；
S03、增大预设遮挡阈值，使其加上预设增量；具体的，本实施例中，预设增量为0.001；
S04、重复步骤S02-S03进行迭代，直至达到迭代次数上限，准确率最高的检测结果所对应的预设遮挡阈值即为所求；本实施例中，迭代上限为1000。具体的，对预设遮挡阈值与准确率之间的关系进行统计分析，得到如图3所示的结果，其中，横坐标Threshold为预设遮挡阈值，纵坐标Accuracy为检测结果的准确率；从图中可以看出，当预设遮挡阈值取值为0.331时，检测结果的准确率最高，故本实施例中，预设遮挡阈值取值为0.331。
实施例2、
一种行人遮挡检测方法，应用于门禁系统遮挡检测场景下，如图4所示，具体包括以下步骤：
S21、采用预训练好的行人检测模型对待检测图像进行检测，得到行人检测框，根据所得的行人检测框将行人目标从待检测图像中剪裁出来，得到单个的行人目标图像，并对行人目标图像中的行人关键点进行检测，进而得到待检测图像上行人各关键点的坐标及其置信度；
本实施例中，行人关键点包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝和右踝；行人部位包括：头部、肩膀、左上臂、右上臂、左下臂、右下臂、臀部、躯干、左大腿、右大腿、左小腿和右小腿；其中，行人各关键点的编号如下：鼻子-0，左眼-1，右眼-2，左耳-3，右耳-4，左肩-5，右肩-6，左肘-7，右肘-8，左腕-9，右腕-10，左臀-11，右臀-12，左膝-13，右膝-14，左踝-15，右踝-16。同样的，上述行人检测模型为YOLOv3模型，该模型基于MS COCO目标检测数据集训练得到；采用预训练好的FastPose模型对行人目标图像中的行人关键点进行检测，这里不做赘述。
S22、分别将所得行人各关键点的置信度与预设关键点遮挡阈值进行比较，若关键点置信度小于预设关键点遮挡阈值，则将其从检测到的行人关键点中过滤掉，即未检测到该关键点；根据剩余的各关键点的坐标，结合人体结构中关键点与部位之间的关系，得到各部位的中心点坐标；其中，对于行人的各部位，若构成该部位的关键点中至少有一个未检测到，则将该部位的中心点坐标记未无效值；
具体的，头部由关键点鼻子、左眼、右眼、左耳以及右耳构成；肩膀由关键点左肩和右肩构成；左上臂由关键点左肩和左肘构成；右上臂由关键点右肩和右肘构成；左下臂由关键点左肘和左腕构成；右下臂由关键点右肘和右腕构成；臀部由关键点左臀和右臀构成；躯干由关键点左肩、右肩、左臀以及右臀构成；左大腿由关键点左臀和左膝构成；右大腿由关键点右臀和右膝构成；左小腿由关键点左膝和左踝构成；右小腿由关键点右膝和右踝构成。具体的，行人的各关键点用“圆圈+编号”表示，如图5中的(a)图所示；行人各部位的中心点用“三角形+编号”表示，如图5中的(b)图所示。进一步地，为了确定预设关键点遮挡阈值，本实施例对MS COCO关键点检测数据集中的图像，分别采用上述步骤S21进行关键点检测，并计算关键点检测的准确率，重复上述过程进行大量实验，每次实验之前递增预设关键点遮挡阈值，关键点检测的准确率最高时所对应的预设关键点遮挡阈值即为所求，本实施例中取值为0.331。
S23、对于行人各部位的中心点坐标，分别计算其中有效值所对应的各部位的中心点到行人检测框的上、下、左、右四个边界的距离；对于各边界，分别按照行人各部位的中心点到该边界的距离，从小到大依次将行人部位投影到该边界上，得到携带行人部位信息的行人检测框；其中，若后投影部位的投影结果完全被先投影部位的投影结果所覆盖，则不在该边界上记录后投影部位信息；
具体的，以行人检测框的右边界为例，分别计算行人各部位中心点到行人检测框右边界的距离，如图6所示。然后按照所得距离，从小到大依次将行人部位投影到右边界上，即离有边界越近的部位就越先进行投影，若后投影部位的投影结果完全被先投影部位的投影结果所覆盖，则不在该边界上记录后投影部位信息，以避免出现信息冗余。
S24、对所得携带行人部位信息的行人检测框的上、下、左、右边界上的行人部位信息进行统计，并与行人部位集进行比较，缺少的部位，即为遮挡部位；
具体的，行人各部位构成行人部位集，本实施例主要应用于门禁系统中的遮挡检测，正常情况下，行人都是正对着或者背对照摄像头进出，当行人各部位不存在遮挡时，行人检测框的上、下、左、右四个边界框上能够完整的记录下行人的各部位信息，只有遮挡的情况下，会导致部分部位信息未被记录，故将边界框上记录的部位信息与完备的行人部位集进行比对，缺少的部位即为遮挡部位。
实施例3、
一种行人朝向检测方法，应用于门禁系统遮挡检测场景下，具体包括以下步骤：
S31、按照实施例2所提供的行人遮挡检测方法中的步骤S21-S23，得到携带行人部位信息的行人检测框；
S32、对所得携带行人部位信息的行人检测框的左边界或右边界上的行人部位信息进行统计，通过比较左边界或右边界上人体左半边部位和人体右半边部位的数量大小，来判断行人的朝向。具体的，若左边界上人体左半边部位多于人体右半边部位或者右边界上人体右半边部位多于人体左半边部位，则行人背朝摄像头；若左边界上人体右半边部位多于人体左半边部位或者右边界上人体左半边部位多于人体右半边部位，则行人面朝摄像头；其中，人体左半边部位包括：左上臂、左下臂、左大腿和左小腿；人体右半边部位包括：右上臂、右下臂、右大腿和右小腿。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种行人遮挡检测方法，其特征在于，包括以下步骤：
S11、采用预训练好的行人检测模型对待检测图像进行检测，得到行人检测框，根据所得的行人检测框将行人目标从待检测图像中剪裁出来，得到单个的行人目标图像，并对行人目标图像中的行人关键点进行检测，进而得到待检测图像上各关键点的置信度；所述行人关键点包括行人的五官和关节，具体包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝和右踝；
S12、根据人体结构中关键点与部位之间的关系，结合所得各关键点的置信度，得到行人各部位的遮挡预测分数；行人部位包括：头部、肩膀、左臂、右臂、臀部、躯干、左腿和右腿；所述行人各部位的遮挡预测分数为：
Figure FDA0003466796930000011
其中，Head、Shoulder、Leftarm、Rightarm、Hip、Body、Leftleg、Rightleg分别为行人的头部、肩膀、左臂、右臂、臀部、躯干、左腿、右腿的遮挡预测分数，nose为鼻子的置信度，Lefteye和Righteye分别为左、右眼睛的置信度，Leftear为左耳置信度，Rightear为右耳的置信度，Leftshoulder为左肩膀的置信度，Rightshoulder为右肩膀的置信度，Leftelbow为左肘部的置信度，Leftwrist为左手腕的置信度，Rightelbow为右肘部的置信度，Rightwrist为右手腕的置信度，Lefthip为左臀部的置信度，Righthip为右臀部的置信度，Leftknee为左膝盖的置信度，Leftankle为左脚踝的置信度，Rightknee为右膝盖的置信度，Rightankle为右脚踝的置信度；
S13、分别将所得行人各部位的遮挡预测分数与预设部位遮挡阈值进行比较，若遮挡预测分数小于预设部位遮挡阈值，则该部位被遮挡，否则未被遮挡。
2.根据权利要求1所述的行人遮挡检测方法，其特征在于，所述行人检测模型为YOLOv3模型，该模型基于MS COCO目标检测数据集训练得到；
采用预训练好的Fast Pose模型对行人目标图像中的行人关键点进行检测；其中，FastPose模型基于MS COCO关键点检测数据集训练得到。
3.根据权利要求1或2所述的行人遮挡检测方法，其特征在于，得到预设遮挡阈值的方法，包括以下步骤：
S01、初始化预设遮挡阈值；
S02、对MS COCO关键点检测数据集中的图像，分别采用上述步骤S11-S13进行遮挡检测，并将检测结果与实际部位遮挡结果进行对比，计算检测结果的准确率，并记录下来；
S03、增大预设遮挡阈值，使其加上预设增量；
S04、重复步骤S02-S03进行迭代，直至达到迭代次数上限，准确率最高的检测结果所对应的预设遮挡阈值即为所求。
4.一种行人遮挡检测方法，应用于门禁系统遮挡检测场景下，其特征在于，包括以下步骤：
S21、采用预训练好的行人检测模型对待检测图像进行检测，得到行人检测框，根据所得的行人检测框将行人目标从待检测图像中剪裁出来，得到单个的行人目标图像，并对行人目标图像中的行人关键点进行检测，进而得到待检测图像上行人各关键点的坐标及其置信度；
S22、分别将所得行人各关键点的置信度与预设关键点遮挡阈值进行比较，若关键点置信度小于预设关键点遮挡阈值，则将其从检测到的行人关键点中过滤掉，即未检测到该关键点；根据剩余的各关键点的坐标，结合人体结构中关键点与部位之间的关系，得到各部位的中心点坐标；其中，对于行人的各部位，若构成该部位的关键点中至少有一个未检测到，则将该部位的中心点坐标记未无效值；
S23、对于行人各部位的中心点坐标，分别计算其中有效值所对应的各部位的中心点到行人检测框的上、下、左、右四个边界的距离；对于各边界，分别按照行人各部位的中心点到该边界的距离，从小到大依次将行人部位投影到该边界上，得到携带行人部位信息的行人检测框；其中，若后投影部位的投影结果完全被先投影部位的投影结果所覆盖，则不在该边界上记录后投影部位信息；
S24、对所得携带行人部位信息的行人检测框的上、下、左、右边界上的行人部位信息进行统计，并与行人部位集进行比较，缺少的部位，即为遮挡部位；
其中，行人关键点包括行人的五官和关节。
5.根据权利要求4所述的行人遮挡检测方法，其特征在于，所述行人关键点包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝和右踝；行人部位包括：头部、肩膀、左上臂、右上臂、左下臂、右下臂、臀部、躯干、左大腿、右大腿、左小腿和右小腿；行人各部位构成行人部位集。
6.根据权利要求4或5所述的行人遮挡检测方法，其特征在于，所述行人检测模型为YOLOv3模型，该模型基于MS COCO目标检测数据集训练得到；
采用预训练好的Fast Pose模型对行人目标图像中的行人关键点进行检测；其中，FastPose模型基于MS COCO关键点检测数据集训练得到。
7.一种行人朝向检测方法，应用于门禁系统遮挡检测场景下，其特征在于，包括以下步骤：
S31、按照权利要求4-6任意一项所述的行人遮挡检测方法中的步骤S21-S23，得到携带行人部位信息的行人检测框；
S32、对所得携带行人部位信息的行人检测框的左边界或右边界上的行人部位信息进行统计，通过比较左边界或右边界上人体左半边部位和人体右半边部位的数量大小，来判断行人的朝向。
8.根据权利要求7所述的行人朝向检测方法，其特征在于，若左边界上人体左半边部位多于人体右半边部位或者右边界上人体右半边部位多于人体左半边部位，则行人背朝摄像头；若左边界上人体右半边部位多于人体左半边部位或者右边界上人体左半边部位多于人体右半边部位，则行人面朝摄像头。
CN202010481781.6A 2020-05-29 2020-05-29 一种行人遮挡及朝向检测方法 Active CN111639602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481781.6A CN111639602B (zh) 2020-05-29 2020-05-29 一种行人遮挡及朝向检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481781.6A CN111639602B (zh) 2020-05-29 2020-05-29 一种行人遮挡及朝向检测方法

Publications (2)

Publication Number Publication Date
CN111639602A CN111639602A (zh) 2020-09-08
CN111639602B true CN111639602B (zh) 2022-04-12

Family

ID=72330313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481781.6A Active CN111639602B (zh) 2020-05-29 2020-05-29 一种行人遮挡及朝向检测方法

Country Status (1)

Country Link
CN (1) CN111639602B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287802A (zh) * 2020-10-26 2021-01-29 汇纳科技股份有限公司 人脸图像检测方法、系统、存储介质及设备
CN112528850A (zh) * 2020-12-11 2021-03-19 北京百度网讯科技有限公司 人体识别方法、装置、设备和存储介质
CN112818908A (zh) * 2021-02-22 2021-05-18 Oppo广东移动通信有限公司 关键点检测方法、装置、终端及存储介质
CN114495241A (zh) * 2022-02-16 2022-05-13 平安科技（深圳）有限公司 一种图像识别方法及装置、电子设备、存储介质
CN116612279B (zh) * 2023-04-28 2024-02-02 广东科技学院 目标检测的方法、装置、网络设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009121889A (ja) * 2007-11-13 2009-06-04 Pioneer Electronic Corp ナビゲーションシステム及びナビゲーション方法
WO2016050729A1 (en) * 2014-09-30 2016-04-07 Thomson Licensing Face inpainting using piece-wise affine warping and sparse coding
CN108416258A (zh) * 2018-01-23 2018-08-17 华侨大学 一种基于人体部位模型的多人体跟踪方法
CN110443144A (zh) * 2019-07-09 2019-11-12 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN110991293A (zh) * 2019-11-26 2020-04-10 爱菲力斯(深圳)科技有限公司 姿态识别方法、装置、计算机设备和存储介质
CN111080697A (zh) * 2019-10-29 2020-04-28 北京海益同展信息科技有限公司 检测目标对象方向的方法、装置、计算机设备和存储介质
CN111079695A (zh) * 2019-12-30 2020-04-28 北京华宇信息技术有限公司 一种人体关键点检测与自学习方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175741B2 (en) * 2009-12-22 2012-05-08 Ko Young-A Method for creating panels and pattern-making

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009121889A (ja) * 2007-11-13 2009-06-04 Pioneer Electronic Corp ナビゲーションシステム及びナビゲーション方法
WO2016050729A1 (en) * 2014-09-30 2016-04-07 Thomson Licensing Face inpainting using piece-wise affine warping and sparse coding
CN108416258A (zh) * 2018-01-23 2018-08-17 华侨大学 一种基于人体部位模型的多人体跟踪方法
CN110443144A (zh) * 2019-07-09 2019-11-12 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111080697A (zh) * 2019-10-29 2020-04-28 北京海益同展信息科技有限公司 检测目标对象方向的方法、装置、计算机设备和存储介质
CN110991293A (zh) * 2019-11-26 2020-04-10 爱菲力斯(深圳)科技有限公司 姿态识别方法、装置、计算机设备和存储介质
CN111079695A (zh) * 2019-12-30 2020-04-28 北京华宇信息技术有限公司 一种人体关键点检测与自学习方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Joint pedestrian and body part detection via semantic relationship learning;junhua gu et al.;《MDPI》;20190221;第1-14页 *
Pose-guided feature alignment for occluded person re-identification;jiaxu miao et al.;《the computer vision foundation》;20191231;第542-551页 *
基于视觉计算的图像目标检测与分析;郭帅;《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》;20190815(第08期);第I138-844页 *

Also Published As

Publication number Publication date
CN111639602A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN111639602B (zh) 一种行人遮挡及朝向检测方法
CN111383421B (zh) 隐私保护跌倒检测方法和系统
CN109947975B (zh) 图像检索装置、图像检索方法及其中使用的设定画面
CN110502965B (zh) 一种基于计算机视觉人体姿态估计的施工安全帽佩戴监测方法
WO2020042419A1 (zh) 基于步态的身份识别方法、装置、电子设备
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN106384093B (zh) 一种基于降噪自动编码器和粒子滤波的人体动作识别方法
CN111797791A (zh) 人体姿态识别方法及装置
CN109766796B (zh) 一种面向密集人群的深度行人检测方法
CN108647663B (zh) 基于深度学习和多层次图结构模型的人体姿态估计方法
JP4951498B2 (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
US20220180534A1 (en) Pedestrian tracking method, computing device, pedestrian tracking system and storage medium
CN111611874A (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
KR20130013122A (ko) 객체 자세 검색 장치 및 방법
WO2004095373A2 (en) Method and system for determining object pose from images
CN109063625A (zh) 一种基于级联深度网络的人脸关键点检测方法
JP7422456B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN105426882B (zh) 一种人脸图像中快速定位人眼的方法
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN112001859A (zh) 一种人脸图像的修复方法及系统
US20230237694A1 (en) Method and system for detecting children's sitting posture based on face recognition of children
JP2013210843A (ja) 画像処理装置
Arif et al. Human pose estimation and object interaction for sports behaviour
CN112465858A (zh) 基于概率网格滤波的语义视觉slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant