CN108416258B - 一种基于人体部位模型的多人体跟踪方法 - Google Patents

一种基于人体部位模型的多人体跟踪方法 Download PDF

Info

Publication number
CN108416258B
CN108416258B CN201810064176.1A CN201810064176A CN108416258B CN 108416258 B CN108416258 B CN 108416258B CN 201810064176 A CN201810064176 A CN 201810064176A CN 108416258 B CN108416258 B CN 108416258B
Authority
CN
China
Prior art keywords
human body
detection target
body part
target
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810064176.1A
Other languages
English (en)
Other versions
CN108416258A (zh
Inventor
张洪博
杜吉祥
周以重
雷庆
官县金
曹佐明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201810064176.1A priority Critical patent/CN108416258B/zh
Publication of CN108416258A publication Critical patent/CN108416258A/zh
Application granted granted Critical
Publication of CN108416258B publication Critical patent/CN108416258B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于人体部位模型的多人体跟踪方法，涉及视频监控技术领域。其包括：获取图像数据，提取其中每个人的人体部位模型并计算颜色特征，得到每个人的部位特征集，集合得到多人体部位特征集列表。然后计算当前帧获得的每个人的部位特征集与上一帧获得的多人体部位特征集列表中每个人的相似度，得到匹配矩阵。再根据匹配矩阵，计算当前帧获得的每个人对上一帧获得的每个人的相似置信度，根据相似度和相似置信度对当前帧获得的目标与上一帧的目标进行匹配，得到跟踪结果。通过该方法能够准确将当前帧的检测目标匹配到上一帧的位置并发现新目标，有效解决多人体跟踪过程中由于人体形变引起的特征差异，导致跟踪失败的问题。

Description

一种基于人体部位模型的多人体跟踪方法
技术领域
本发明涉及视频监控技术领域，且特别涉及一种基于人体部位模型的多人体跟踪方法。
背景技术
智慧社会，智慧城市已经成为目前国内城市建设的一个主要方向，随着人工智能技术的爆发，人工智能已经国家层面的战略和政策。零售行业也提出了新零售的概念和举措，将走向高度智能化、便捷化、自动化、专业化，大大减少中间环节，解放人力。其中，智能无人商店成为了当前零售业最新兴的市场。智能无人商店，就是人工智能与新零售二者结合的产物，就是7x24小时无人值守的，通过人工智能实现购物的全部流程的店铺。这种店铺通过与人工智能系统连接，从用户的进入，到挑选商品，到收银，到离开，全程不需要任何人工参与，便可自助购物。基于视觉识别技术在智能无人商店是未来的发展趋势。商店内的多人体跟踪正是第一代智能无人商店的系统的核心技术之一。
目前主要的无人跟踪技术可以概括为生成式的方法和判别式方法。生成式方法主要在当前帧对目标区域建模，下一帧寻找与模型最相似的区域，也就是预测位置，如卡尔曼滤波技术，粒子滤波，均值漂移(mean-shift)算法等。判别式的方法，采用图像特征结合机器学习的方式，一般被称之为在线学习的方法。以当前帧的目标为正样本，背景为负样本，训练分类器，在下一帧，用训练好的分类器寻找目标。这类方法需要一个在线学习的过程，每帧进行训练，效果比生产式的方法要好。其中比较经典的算法有Struck方法，TLD方法。这些方法都是针对单个目标进行跟踪的方法，即在第一帧时，框定需要跟踪的目标区域，才能进行跟踪。在多目标跟踪的问题上，一般采用目标检测或者运动估计的方法，确定跟踪目标，例如对于人体的检测，采用HOG特征结合SVM的方法或者基于深度学习的目标检测方法等。
尽管目前有许多的不同的跟踪方法，然而在跟踪过程中，最为关键的还是目标的特征，导致跟踪失败的原因主要还是跟踪过程中发生的特征变化。目前，多人体跟踪技术存在的问题以下几个缺点：由于人体尺度变化，引起的特征差异，使得跟踪失败；人体目标相比于其他目标，在运动过程中会发生更多的形变，产生的特征变化；由于部分遮挡问题，引起的目标特征的变化。
发明内容
本发明的目的在于提供一种基于人体部位模型的多人体跟踪方法，此多人体跟踪方法采用人体部位特征进行检测目标匹配的方式实现多人体的跟踪，对人体的跟踪准确，能够在真实场景中实现多人体目标跟踪。
本发明解决其技术问题是采用以下技术方案来实现的。
本发明提出一种基于人体部位模型的多人体跟踪方法，其包括以下步骤：
S1，获取预设区域内的图像数据，提取所述图像数据中每个检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，多个检测检测目标的部位特征集构成多人体部位特征集列表；
S2，计算当前帧获得的每个检测目标的部位特征集与上一帧获得的多人体部位特征集列表中每个检测目标的相似度，根据所述相似度得到匹配矩阵；
S3，根据所述匹配矩阵，计算当前帧获得的每个检测目标对上一帧获得的每个检测目标的相似置信度，根据所述相似度和所述相似置信度对当前帧获得的检测目标与上一帧获得的检测目标进行匹配，得到跟踪结果。
进一步地，在本发明较佳实施例中，步骤S3之后，还包括以下步骤：
S4，根据所述跟踪结果，更新所述多人体部位特征集列表包括：
S41，对于步骤S3中当前帧中未被匹配的检测目标进行验证，若验证为新目标，则保留在所述多人体部位特征集列表中，若验证为不是新目标，则将该未被匹配的检测目标从所述多人体部位特征集列表中删除；
S42，对于步骤S3中当前帧中每个被匹配的检测目标，对所述检测目标的部位特征集进行更新。
进一步地，在本发明较佳实施例中，每个检测目标的部位特征集表示为：
Figure GDA0002332157500000033
其中，M表示检测目标的数量；
每个检测目标的部位特征集按以下步骤构建：
S11，对所述图像数据中每个检测目标进行人体检测和姿态提取，得到l个人体部位模型和每个所述人体部位模型相对应的部位置信度；
S12，计算步骤S11中每一所述人体部位模型的颜色特征，得到每个检测目标的部位特征，表示为：
Figure GDA0002332157500000031
Figure GDA0002332157500000032
其中，l表示人体部位模型的个数，Xj表示第j个检测目标的部位特征，Xj由每个人体部位特征模型的颜色特征组成；SXj表示第j个检测目标的部位置信度集合，SXj由每个人体部位模型的部位置信度组成。
进一步地，在本发明较佳实施例中，步骤S12中，通过分布计算三个通道的颜色直方图特征，得到每一所述人体部位模型的颜色特征，第i个人体部位模型的颜色特征表示为：
Xi＝[R,G,B]＝[rx1,rx2,...,rxn,gx1,gx2,...,gxn,bx1,bx2,...,bxn] (1)，
其中，R，G，B分别表示三个通道的颜色直方图特征，n表示每个颜色通道的特征长度。
进一步地，在本发明较佳实施例中，步骤S2中，所述相似度由当前帧第j个检测目标的对上一帧第k个检测目标对应部位的特征相似度决定，按照以下公式计算得到：
Figure GDA0002332157500000041
其中，Xj表示当前帧的第j个检测目标的部位特征，
Figure GDA0002332157500000042
表示当前帧第j个检测目标的第i个部位，Yk表示上一帧的第k个检测目标的部位特征，Yi k表示上一帧第k个检测目标的第i个部位，Sim(Xj,Yk)表示当前帧第j个检测目标对上一帧第k个检测目标对应部位的特征相似度；
根据公式(2)计算得到的所述相似度，得到大小为M×L的匹配矩阵SuppM×L，其中，M表示当前帧检测目标的个数，L表示上一帧检测目标的个数。
进一步地，在本发明较佳实施例中，步骤S3中，所述相似置信度根据以下公式计算得到：
Figure GDA0002332157500000051
其中，Supp(i,j)表示当前帧第j个人对上一帧第k个人的相似度。
进一步地，在本发明较佳实施例中，对当前帧获得的检测目标与上一帧获得的检测目标进行匹配的过程中，将当前帧第j个检测目标的身份判定为与上一帧中相对应的支持度和置信度最大的检测目标，如以下公式所示：
Figure GDA0002332157500000052
进一步地，在本发明较佳实施例中，步骤S42中，根据所述部位置信度对部位特征集进行更新，按照以下公式进行：
Figure GDA0002332157500000053
其中，
Figure GDA0002332157500000054
表示当前帧第j个检测目标的第i个人体部位模型的部位置信度，
Figure GDA0002332157500000055
表示上一帧第k个检测目标的第i个人体部位模型的部位置信度。
进一步地，在本发明较佳实施例中，步骤S41中，验证当前帧中未被匹配的检测目标的方法为：
所述预设区域包括进入区、离开区和自由活动区，如果检测目标的空间位置位于所述进入区，则被验证为是新目标，否则被判定为误检测，验证为不是新目标。
进一步地，在本发明较佳实施例中，还包括对离开所述预设区域的检测目标从已跟踪的所述多人体部位特征列表中进行删除的步骤。
本发明实施例的一种基于人体部位模型的多人体跟踪方法的有益效果是：
通过定位人体各个部位，获得检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，能够有效克服在多人体追踪过程中，尺度和形变特征的变化，通过根据人体部位的部位置信度，判断该部位是否被遮挡，从而避免遮挡引起的特征变化。在对上一帧和当前帧的检测目标进行匹配时，根据相似度和相似置信度进行匹配，得到更为准确的跟踪结果。本发明相对于现有方法使用的人体的整体目标更加鲁棒，同时不同于采用局部特征的方法，具有人体的结构语义信息，对人体的匹配跟踪准确，提供一种在真实场景中实现多人体目标跟踪的方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的基于人体部位模型的多人体跟踪方法的示意图；
图2为本发明的人体部位特征模型的提取示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
下面对本发明实施例的一种基于人体部位模型的多人体跟踪方法进行具体说明。
本发明实施例提供一种基于人体部位模型的多人体跟踪方法，该多人体跟踪方法适用于智能无人商店的视频监控系统，用于跟踪每个顾客从进入商店到离开商店的整个过程。其主要机理如图1所所示：根据无人智能商店的门禁系统，给出当前商店中的人数，作为多人体跟踪的参照数值；在当前帧采用进行人体检测和姿态估计；计算每个部位的视觉特征；当前帧的目标根据部位与上一帧已有目标进行匹配，同时结合商店的进出数据，进行相应推理得到跟踪结果。
一种基于人体部位模型的多人体跟踪方法，其包括以下步骤：
S1，获取预设区域内的图像数据。在本实施例中，预设区域即无人商店的内部区域，包括进入区、自由活动区(货架区)和离开区(结算区)。通过摄像头采集商店内的图像数据，与摄像头连接的主机对蔡姐的图像数据进行相应的数据处理，包括：
提取所述图像数据中每个检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，多个检测检测目标的部位特征集构成多人体部位特征集列表。
具体地，每个检测目标的部位特征集表示为：
Figure GDA0002332157500000071
其中，M表示检测目标的数量；
每个检测目标的部位特征集按以下步骤构建：
S11，对所述图像数据中每个检测目标进行人体检测和姿态提取，得到l个人体部位模型和每个所述人体部位模型相对应的部位置信度。优选地，在本实施例中，采用通用的人体姿态提取方法OpenPose进行人体关键点提取。在OpenPose中，给出了人体的18个关键点，以及每个点的置信度，其中置信度小于0.5的关键点并非真实检测到的点，而是由于遮挡，通过算法预测的关键点。在本发明实施例中基于这些关键点，提取出人体的l个主要部位。优选地，在本实施例中，l为10，即提取出人体的10个主要部位作为人体部位模型，能够满足准确性的需求。每个人体部位模型采用旋转矩形表示，以避免截取到更多的背景区域，如图2所示。每个旋转矩形，即人体部位模型包括一个中心点、旋转角度、长宽以及部位置信度，具体如下：
对于头部，以左右耳朵，左右眼、鼻子以及脖子的位置作为关键点。在本发明优选实施例中，根据这些关键点的位置以及每个关键点的置信度，计算出头部区域的人体部位模型。对头部区域的人体部位模型的部位置信度的判断规则如下：
首先，如果关键点的置信度小于0.5，则被认为是遮挡点；若未被遮挡关键点的位置小于3，则认为头部区域被遮挡，矩形置信度为0(该人体部位模型的部位置信度为0)，矩形区域为空。否则去除遮挡点后，根据已有的点，计算包括这些点的一个旋转矩形为头部区域。如果鼻子点未被遮挡，则旋转矩形的中心点为鼻子点；否则以其他点的中心点位置作为矩形的中心。旋转矩形的角度，根据遮挡点的情况，依次选择鼻子和脖子关键点与水平线的夹角、眼睛联系与垂直方向的夹角或者耳朵联系与垂直方向的夹角作为选择矩形的角度。最后矩形的宽度为眼睛和耳朵关键点中未被遮挡点的最远距离，长度为脖子和鼻子点的距离，当这两点有遮挡发生时，以得到的脸部宽度的1.5倍作为长度；同时未被遮挡的关键点的平均置信度作为该人体部位模型的部位置信度。
对于身体躯干部位，以左肩、左臀、右肩、右臀以及脖子的位置作为关键点。计算包含这些关键点的旋转矩形，得到身体躯干区域的人体部位模型。对身体躯干区域的人体部位模型的部位置信度的判断规则如下：
首先，左肩、左臀连接成第一条直线，右肩、右臀连接成第二条直线，这两条直线为矩形的两条对称边。如果两条线中的任一端点被遮挡，则该条直线被判定为遮挡。两条直线均被遮挡，则判定此区域被遮挡。矩形的旋转角度为第一条线或者第二条线与水平方向的夹角。矩形的中心为这些关键点的中心点。当有遮挡发生时，利用脖子关键点和未被遮挡的直线计算中心点。同时矩形的长为直线的长度，宽度为直线的距离。同样，如果有遮挡存在，则通过脖子关键点和未被遮挡直线的距离为宽度。同样旋转矩形的部位置信度为所有未被遮挡的关键点的平均置信度。
对于四肢，划分成了8个区域。每个区域由2个关键点决定。例如左手上肢，以左肩和左手肘作为关键点，计算旋转矩形，得到左手上肢区域的人体部位模型。旋转矩形的中心为这2点的中点，角度为2点连接直线与水平方向的夹角；矩形的长度为直线长度；矩形的宽度为长度*0.4。旋转矩形区域的置信度为这2点的平均置信度。同理，对四肢的其他区域，采用同样的方式计算旋转矩形。最终得到人体的10个部位区域的人体部位特征模型。
S12，计算步骤S11中每一所述人体部位模型的颜色特征，得到每个检测目标的部位特征，表示为：
Figure GDA0002332157500000091
Figure GDA0002332157500000092
其中，l表示人体部位模型的个数，在本实施例中，l＝10。Xj表示第j个检测目标的部位特征，Xj由每个人体部位特征模型的颜色特征组成；SXj表示第j个检测目标的部位置信度集合，SXj由每个人体部位模型的部位置信度组成。
进一步地，在本发明较佳实施例中，步骤S12中，通过分布计算三个通道的颜色直方图特征，得到每一所述人体部位模型的颜色特征。特征归一化后，第i个人体部位模型的颜色特征表示为：
Xi＝[R,G,B]＝[rx1,rx2,...,rxn,gx1,gx2,...,gxn,bx1,bx2,...,bxn] (1)，
其中，R，G，B分别表表示三个通道的颜色直方图特征，n表示每个颜色通道的特征长度。优选地，在本实施例中，n＝16。即，每个通道的颜色特征均被量化为16个区间。
S2，计算当前帧获得的每个检测目标的部位特征集与上一帧获得的多人体部位特征集列表中每个检测目标的相似度，根据所述相似度得到匹配矩阵。具体如下：
相似度由当前帧第j个检测目标的对上一帧第k个检测目标对应部位的特征相似度决定，按照以下公式计算得到：
Figure GDA0002332157500000101
其中，Xj表示当前帧的第j个检测目标的部位特征，
Figure GDA0002332157500000102
表示当前帧第j个检测目标的第i个部位，Yk表示上一帧的第k个检测目标的部位特征，Yi k表示上一帧第k个检测目标的第i个部位，Sim(Xj,Yk)表示当前帧第j个检测目标对上一帧第k个检测目标对应部位的特征相似度。
根据公式(2)计算得到的所述相似度，得到大小为M×L的匹配矩阵SuppM×L，其中，M表示当前帧检测目标的个数，L表示上一帧检测目标的个数。
对于匹配矩阵SuppM×L，每一行代表当前帧的某一个检测目标分别对上一帧的每个检测目标的相似度，每一行均有L个相似度；每一列代表当前帧每个检测目标分别对上一帧某一检测目标的相似度，每一列均有M个相似度，匹配矩阵SuppM×L构成对称矩阵。
S3，根据所述匹配矩阵，计算当前帧获得的每个检测目标对上一帧获得的每个检测目标的相似置信度，根据所述相似度和所述相似置信度对当前帧获得的检测目标与上一帧获得的检测目标进行匹配，推理得到跟踪结果。
具体地，步骤S3中，所述相似置信度根据以下公式计算得到：
Figure GDA0002332157500000111
其中，Supp(i,j)表示当前帧第j个人对上一帧第k个人的相似度。
进一步地，在本发明较佳实施例中，对当前帧获得的检测目标与上一帧获得的检测目标进行匹配的过程中，将当前帧第j个检测目标的身份判定为与上一帧中相对应的支持度和置信度最大的检测目标，如以下公式所示：
Figure GDA0002332157500000112
在进行跟踪结果的推理过程中，若仅仅依据匹配矩阵进行推理，有可能出现当前帧的第j个人与上一帧的两个或两个以上检测目标的相似度相同或相似，容易产生误判。本发明实施例同时考察当前帧的检测目标与上一帧的检测目标的相似度以及相似置信度，最大限度保证跟踪结果的准确性。
进一步地，在上述步骤中，还包括对离开所述预设区域的检测目标从已跟踪的所述多人体部位特征列表中进行删除的步骤。具体地，依据无人智能商店的结算系统和门禁系统的数据，如果有顾客离开，即上一帧中存在未被当前帧匹配的检测目标，从已跟踪的多人体部位特征集列表中删除已离开的检测目标。
进一步地，在本发明较佳实施例中，步骤S3之后，还包括以下步骤：
S4，根据所述跟踪结果，更新所述多人体部位特征集列表，包括：
S41，对于步骤S3中当前帧中未被匹配的检测目标进行验证，若验证为新目标，则保留在所述多人体部位特征集列表中，若验证为不是新目标，则将该未被匹配的检测目标从所述多人体部位特征集列表中删除。
具体地，验证规则如下：
读取无人智能商店的门禁数据，如果检测目标的空间位置位于预设区域的进入区，则被认为为是新目标，否则被判定为误检测，将其予以删除。
S42，对于步骤S3中当前帧中每个被匹配的检测目标，对所述检测目标的部位特征集进行更新。
具体地，假设当前帧第j个人的跟踪结果为列表中的第k个人，那么第j个人的第k个部位的特征更新方式如下：
Figure GDA0002332157500000121
其中，
Figure GDA0002332157500000122
表示当前帧第j个检测目标的第i个人体部位模型的部位置信度，
Figure GDA0002332157500000123
表示上一帧第k个检测目标的第i个人体部位模型的部位置信度。通过比较相互匹配的目标的部位置信度，将部位置信度低的部位特征更新为部位置信度高的部位特征，实现将未被遮挡的部位特征替换到当前帧中被遮挡的部位特征中，不断提高每个人体部位模型的准确度。
本发明实施例通过上述方法，解决了多人体跟踪过程中由于人体形变引起的特征差异，导致跟踪失败的问题。本发明中的人体跟踪方法以人体姿态估计的结果作为输入，从而避免了一般目标跟踪方法中的尺度估计问题。对于遮挡问题，本发明中采用部位特征，可以有效排除遮挡部位，从而解决了因为遮挡引起的特征变化。
以上所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (6)

1.一种基于人体部位模型的多人体跟踪方法，其特征在于，其包括以下步骤：
S1，获取预设区域内的图像数据，提取所述图像数据中每个检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，多个检测检测目标的部位特征集构成多人体部位特征集列表，其中，每个检测目标的部位特征集表示为：
Figure FDA0002332157490000013
其中，M表示检测目标的数量；
每个检测目标的部位特征集按以下步骤构建：
S11，对所述图像数据中每个检测目标进行人体检测和姿态提取，得到l个人体部位模型和每个所述人体部位模型相对应的部位置信度；
S12，计算步骤S11中每一所述人体部位模型的颜色特征，得到每个检测目标的部位特征，表示为：
Figure FDA0002332157490000011
Figure FDA0002332157490000012
其中，l表示人体部位模型的个数，Xj表示第j个检测目标的部位特征，Xj由每个人体部位特征模型的颜色特征组成；SXj表示第j个检测目标的部位置信度集合，SXj由每个人体部位模型的部位置信度组成；
步骤S12中，通过分布计算三个通道的颜色直方图特征，得到每一所述人体部位模型的颜色特征，第i个人体部位模型的颜色特征表示为：
Xi＝[R,G,B]＝[rx1,rx2,...,rxn,gx1,gx2,...,gxn,bx1,bx2,...,bxn] (1)，
其中，R，G，B分别表示三个通道的颜色直方图特征，n表示每个颜色通道的特征长度；
S2，计算当前帧获得的每个检测目标的部位特征集与上一帧获得的多人体部位特征集列表中每个检测目标的相似度，根据所述相似度得到匹配矩阵，该步骤中，所述相似度由当前帧第j个检测目标的对上一帧第k个检测目标对应部位的特征相似度决定，按照以下公式计算得到：
Figure FDA0002332157490000021
其中，Xj表示当前帧的第j个检测目标的部位特征，Xi j表示当前帧第j个检测目标的第i个部位，Yk表示上一帧的第k个检测目标的部位特征，Yi k表示上一帧第k个检测目标的第i个部位，Sim(Xj,Yk)表示当前帧第j个检测目标对上一帧第k个检测目标对应部位的特征相似度；
根据公式(2)计算得到的所述相似度，得到大小为M×L的匹配矩阵SuppM×L，其中，M表示当前帧检测目标的个数，L表示上一帧检测目标的个数；
S3，根据所述匹配矩阵，计算当前帧获得的每个检测目标对上一帧获得的每个检测目标的相似置信度，根据所述相似度和所述相似置信度对当前帧获得的检测目标与上一帧获得的检测目标进行匹配，得到跟踪结果；
S4，根据所述跟踪结果，更新所述多人体部位特征集列表，包括：
S41，对于步骤S3中当前帧中未被匹配的检测目标进行验证，若验证为新目标，则保留在所述多人体部位特征集列表中，若验证为不是新目标，则将该未被匹配的检测目标从所述多人体部位特征集列表中删除；
S42，对于步骤S3中当前帧中每个被匹配的检测目标，对所述检测目标的部位特征集进行更新；
其中，每个检测目标的部位特征集表示为：
Figure FDA0002332157490000036
其中，M表示检测目标的数量。
2.根据权利要求1所述的基于人体部位模型的多人体跟踪方法，其特征在于，步骤S3中，所述相似置信度根据以下公式计算得到：
Figure FDA0002332157490000031
其中，Supp(i,j)表示当前帧第j个人对上一帧第k个人的相似度。
3.根据权利要求2所述的基于人体部位模型的多人体跟踪方法，其特征在于，对当前帧获得的检测目标与上一帧获得的检测目标进行匹配的过程中，将当前帧第j个检测目标的身份判定为与上一帧中相对应的支持度和置信度最大的检测目标，如以下公式所示：
Figure FDA0002332157490000032
4.根据权利要求3所述的基于人体部位模型的多人体跟踪方法，其特征在于，步骤S42中，根据所述部位置信度对部位特征集进行更新，按照以下公式进行：
Figure FDA0002332157490000033
其中，
Figure FDA0002332157490000034
表示当前帧第j个检测目标的第i个人体部位模型的部位置信度，
Figure FDA0002332157490000035
表示上一帧第k个检测目标的第i个人体部位模型的部位置信度。
5.根据权利要求4所述的基于人体部位模型的多人体跟踪方法，其特征在于，步骤S41中，验证当前帧中未被匹配的检测目标的方法为：
所述预设区域包括进入区、离开区和自由活动区，如果检测目标的空间位置位于所述进入区，则被验证为是新目标，否则被判定为误检测，验证为不是新目标。
6.根据权利要求5所述的基于人体部位模型的多人体跟踪方法，其特征在于，还包括对离开所述预设区域的检测目标从已跟踪的所述多人体部位特征列表中进行删除的步骤。
CN201810064176.1A 2018-01-23 2018-01-23 一种基于人体部位模型的多人体跟踪方法 Expired - Fee Related CN108416258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810064176.1A CN108416258B (zh) 2018-01-23 2018-01-23 一种基于人体部位模型的多人体跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810064176.1A CN108416258B (zh) 2018-01-23 2018-01-23 一种基于人体部位模型的多人体跟踪方法

Publications (2)

Publication Number Publication Date
CN108416258A CN108416258A (zh) 2018-08-17
CN108416258B true CN108416258B (zh) 2020-05-08

Family

ID=63126276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810064176.1A Expired - Fee Related CN108416258B (zh) 2018-01-23 2018-01-23 一种基于人体部位模型的多人体跟踪方法

Country Status (1)

Country Link
CN (1) CN108416258B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110941977A (zh) 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109523652B (zh) * 2018-09-29 2022-03-22 阿波罗智联(北京)科技有限公司 基于驾驶行为的保险的处理方法、装置、设备及存储介质
CN110226913A (zh) * 2019-05-24 2019-09-13 山东海博科技信息系统股份有限公司 一种自助体检机视力检测智能化处理方法及装置
CN111178201A (zh) * 2019-12-20 2020-05-19 南京理工大学 基于OpenPose姿态检测的人体分段式跟踪方法
CN111191705A (zh) * 2019-12-24 2020-05-22 上海眼控科技股份有限公司 检测人体的安全装备的方法、设备和计算机可读存储介质
CN111639602B (zh) * 2020-05-29 2022-04-12 华中科技大学 一种行人遮挡及朝向检测方法
CN111881785A (zh) * 2020-07-13 2020-11-03 北京市商汤科技开发有限公司 客流分析方法及装置、存储介质和系统
CN112200076B (zh) * 2020-10-10 2023-02-21 福州大学 基于头部躯干特征进行多目标跟踪的方法
CN113762136A (zh) * 2021-09-02 2021-12-07 北京格灵深瞳信息技术股份有限公司 人脸图像遮挡判断方法、装置、电子设备和存储介质
CN113554683A (zh) * 2021-09-22 2021-10-26 成都考拉悠然科技有限公司 一种基于视频分析和物体检测的特征追踪方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214359A (zh) * 2010-04-07 2011-10-12 北京智安邦科技有限公司 基于层级式特征匹配的目标跟踪装置及方法
CN103985142A (zh) * 2014-05-30 2014-08-13 上海交通大学 联合数据关联的Mean Shift多目标跟踪方法
CN104200495A (zh) * 2014-09-25 2014-12-10 重庆信科设计有限公司 一种视频监控中的多目标跟踪方法
CN106815855A (zh) * 2015-12-02 2017-06-09 山东科技职业学院 基于产生式和判别式结合的人体运动跟踪方法
CN106874884A (zh) * 2017-03-03 2017-06-20 中国民航大学 基于部位分割的人体再识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509957B2 (en) * 2016-02-05 2019-12-17 University Of Central Florida Research Foundation, Inc. System and method for human pose estimation in unconstrained video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214359A (zh) * 2010-04-07 2011-10-12 北京智安邦科技有限公司 基于层级式特征匹配的目标跟踪装置及方法
CN103985142A (zh) * 2014-05-30 2014-08-13 上海交通大学 联合数据关联的Mean Shift多目标跟踪方法
CN104200495A (zh) * 2014-09-25 2014-12-10 重庆信科设计有限公司 一种视频监控中的多目标跟踪方法
CN106815855A (zh) * 2015-12-02 2017-06-09 山东科技职业学院 基于产生式和判别式结合的人体运动跟踪方法
CN106874884A (zh) * 2017-03-03 2017-06-20 中国民航大学 基于部位分割的人体再识别方法

Also Published As

Publication number Publication date
CN108416258A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108416258B (zh) 一种基于人体部位模型的多人体跟踪方法
CN111161320B (zh) 一种目标跟踪方法、目标跟踪装置及计算机可读介质
CN108090433B (zh) 人脸识别方法及装置、存储介质、处理器
CN111627045B (zh) 单镜头下的多行人在线跟踪方法、装置、设备及存储介质
CN108921107B (zh) 基于排序损失和Siamese网络的行人再识别方法
CN108062574B (zh) 一种基于特定类别空间约束的弱监督目标检测方法
Kellokumpu et al. Recognition of human actions using texture descriptors
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN110288627B (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
CN103593654B (zh) 一种人脸定位的方法与装置
CN111274916A (zh) 人脸识别方法和人脸识别装置
CN104881671B (zh) 一种基于2D‑Gabor的高分遥感影像局部特征提取方法
CN102682302A (zh) 一种基于关键帧的多特征融合的人体姿态识别方法
CN113705655B (zh) 三维点云全自动分类方法及深度神经网络模型
CN108229432A (zh) 人脸标定方法及装置
CN112734809A (zh) 基于Deep-Sort跟踪框架的在线多行人跟踪方法及装置
CN111275058B (zh) 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置
CN114627339B (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
CN114360182B (zh) 一种智能告警方法、装置、设备及存储介质
CN116884045B (zh) 身份识别方法、装置、计算机设备和存储介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN111814653B (zh) 一种视频中异常行为的检测方法、装置、设备及存储介质
CN111652080B (zh) 基于rgb-d图像的目标跟踪方法和装置
CN107886060A (zh) 基于视频的行人自动检测与跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200508