CN108416258A - 一种基于人体部位模型的多人体跟踪方法 - Google Patents
一种基于人体部位模型的多人体跟踪方法 Download PDFInfo
- Publication number
- CN108416258A CN108416258A CN201810064176.1A CN201810064176A CN108416258A CN 108416258 A CN108416258 A CN 108416258A CN 201810064176 A CN201810064176 A CN 201810064176A CN 108416258 A CN108416258 A CN 108416258A
- Authority
- CN
- China
- Prior art keywords
- human body
- detection target
- body part
- target
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 139
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000001364 upper extremity Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于人体部位模型的多人体跟踪方法，涉及视频监控技术领域。其包括：获取图像数据，提取其中每个人的人体部位模型并计算颜色特征，得到每个人的部位特征集，集合得到多人体部位特征集列表。然后计算当前帧获得的每个人的部位特征集与上一帧获得的多人体部位特征集列表中每个人的相似度，得到匹配矩阵。再根据匹配矩阵，计算当前帧获得的每个人对上一帧获得的每个人的相似置信度，根据相似度和相似置信度对当前帧获得的目标与上一帧的目标进行匹配，得到跟踪结果。通过该方法能够准确将当前帧的检测目标匹配到上一帧的位置并发现新目标，有效解决多人体跟踪过程中由于人体形变引起的特征差异，导致跟踪失败的问题。
Description
技术领域
本发明涉及视频监控技术领域，且特别涉及一种基于人体部位模型的多人体跟踪方法。
背景技术
智慧社会，智慧城市已经成为目前国内城市建设的一个主要方向，随着人工智能技术的爆发，人工智能已经国家层面的战略和政策。零售行业也提出了新零售的概念和举措，将走向高度智能化、便捷化、自动化、专业化，大大减少中间环节，解放人力。其中，智能无人商店成为了当前零售业最新兴的市场。智能无人商店，就是人工智能与新零售二者结合的产物，就是7x24小时无人值守的，通过人工智能实现购物的全部流程的店铺。这种店铺通过与人工智能系统连接，从用户的进入，到挑选商品，到收银，到离开，全程不需要任何人工参与，便可自助购物。基于视觉识别技术在智能无人商店是未来的发展趋势。商店内的多人体跟踪正是第一代智能无人商店的系统的核心技术之一。
目前主要的无人跟踪技术可以概括为生成式的方法和判别式方法。生成式方法主要在当前帧对目标区域建模，下一帧寻找与模型最相似的区域，也就是预测位置，如卡尔曼滤波技术，粒子滤波，均值漂移(mean-shift)算法等。判别式的方法，采用图像特征结合机器学习的方式，一般被称之为在线学习的方法。以当前帧的目标为正样本，背景为负样本，训练分类器，在下一帧，用训练好的分类器寻找目标。这类方法需要一个在线学习的过程，每帧进行训练，效果比生产式的方法要好。其中比较经典的算法有Struck方法，TLD方法。这些方法都是针对单个目标进行跟踪的方法，即在第一帧时，框定需要跟踪的目标区域，才能进行跟踪。在多目标跟踪的问题上，一般采用目标检测或者运动估计的方法，确定跟踪目标，例如对于人体的检测，采用HOG特征结合SVM的方法或者基于深度学习的目标检测方法等。
尽管目前有许多的不同的跟踪方法，然而在跟踪过程中，最为关键的还是目标的特征，导致跟踪失败的原因主要还是跟踪过程中发生的特征变化。目前，多人体跟踪技术存在的问题以下几个缺点：由于人体尺度变化，引起的特征差异，使得跟踪失败；人体目标相比于其他目标，在运动过程中会发生更多的形变，产生的特征变化；由于部分遮挡问题，引起的目标特征的变化。
发明内容
本发明的目的在于提供一种基于人体部位模型的多人体跟踪方法，此多人体跟踪方法采用人体部位特征进行检测目标匹配的方式实现多人体的跟踪，对人体的跟踪准确，能够在真实场景中实现多人体目标跟踪。
本发明解决其技术问题是采用以下技术方案来实现的。
本发明提出一种基于人体部位模型的多人体跟踪方法，其包括以下步骤：
S1，获取预设区域内的图像数据，提取所述图像数据中每个检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，多个检测检测目标的部位特征集构成多人体部位特征集列表；
S2，计算当前帧获得的每个检测目标的部位特征集与上一帧获得的多人体部位特征集列表中每个检测目标的相似度，根据所述相似度得到匹配矩阵；
S3，根据所述匹配矩阵，计算当前帧获得的每个检测目标对上一帧获得的每个检测目标的相似置信度，根据所述相似度和所述相似置信度对当前帧获得的检测目标与上一帧获得的检测目标进行匹配，得到跟踪结果。
进一步地，在本发明较佳实施例中，步骤S3之后，还包括以下步骤：
S4，根据所述跟踪结果，更新所述多人体部位特征集列表包括：
S41，对于步骤S3中当前帧中未被匹配的检测目标进行验证，若验证为新目标，则保留在所述多人体部位特征集列表中，若验证为不是新目标，则将该未被匹配的检测目标从所述多人体部位特征集列表中删除；
S42，对于步骤S3中当前帧中每个被匹配的检测目标，对所述检测目标的部位特征集进行更新。
进一步地，在本发明较佳实施例中，每个检测目标的部位特征集表示为：
其中，M表示检测目标的数量；
每个检测目标的部位特征集按以下步骤构建：
S11，对所述图像数据中每个检测目标进行人体检测和姿态提取，得到l个人体部位模型和每个所述人体部位模型相对应的部位置信度；
S12，计算步骤S11中每一所述人体部位模型的颜色特征，得到每个检测目标的部位特征，表示为：
其中，l表示人体部位模型的个数，Xj表示第j个检测目标的部位特征，Xj由每个人体部位特征模型的颜色特征组成；SXj表示第j个检测目标的部位置信度集合，SXj由每个人体部位模型的部位置信度组成。
进一步地，在本发明较佳实施例中，步骤S12中，通过分布计算三个通道的颜色直方图特征，得到每一所述人体部位模型的颜色特征，第i个人体部位模型的颜色特征表示为：
Xi＝[R,G,B]＝[rx1,rx2,...,rxn,gx1,gx2,...,gxn,bx1,bx2,...,bxn] (1)，
其中，R，G，B分别表示三个通道的颜色直方图特征，n表示每个颜色通道的特征长度。
进一步地，在本发明较佳实施例中，步骤S2中，所述相似度由当前帧第j个检测目标的对上一帧第k个检测目标对应部位的特征相似度决定，按照以下公式计算得到：
其中，Xj表示当前帧的第j个检测目标的部位特征，Xi j表示当前帧第j个检测目标的第i个部位，Yk表示上一帧的第k个检测目标的部位特征，表示上一帧第k个检测目标的第i个部位，Sim(Xj,Yk)表示当前帧第j个检测目标对上一帧第k个检测目标对应部位的特征相似度；
根据公式(2)计算得到的所述相似度，得到大小为M×L的匹配矩阵SuppM×L，其中，M表示当前帧检测目标的个数，L表示上一帧检测目标的个数。
进一步地，在本发明较佳实施例中，步骤S3中，所述相似置信度根据以下公式计算得到：
其中，Supp(i,j)表示当前帧第j个人对上一帧第k个人的相似度。
进一步地，在本发明较佳实施例中，对当前帧获得的检测目标与上一帧获得的检测目标进行匹配的过程中，将当前帧第j个检测目标的身份判定为与上一帧中相对应的支持度和置信度最大的检测目标，如以下公式所示：
进一步地，在本发明较佳实施例中，步骤S42中，根据所述部位置信度对部位特征集进行更新，按照以下公式进行：
其中，表示当前帧第j个检测目标的第i个人体部位模型的部位置信度，表示上一帧第k个检测目标的第i个人体部位模型的部位置信度。
进一步地，在本发明较佳实施例中，步骤S41中，验证当前帧中未被匹配的检测目标的方法为：
所述预设区域包括进入区、离开区和自由活动区，如果检测目标的空间位置位于所述进入区，则被验证为是新目标，否则被判定为误检测，验证为不是新目标。
进一步地，在本发明较佳实施例中，还包括对离开所述预设区域的检测目标从已跟踪的所述多人体部位特征列表中进行删除的步骤。
本发明实施例的一种基于人体部位模型的多人体跟踪方法的有益效果是：
通过定位人体各个部位，获得检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，能够有效克服在多人体追踪过程中，尺度和形变特征的变化，通过根据人体部位的部位置信度，判断该部位是否被遮挡，从而避免遮挡引起的特征变化。在对上一帧和当前帧的检测目标进行匹配时，根据相似度和相似置信度进行匹配，得到更为准确的跟踪结果。本发明相对于现有方法使用的人体的整体目标更加鲁棒，同时不同于采用局部特征的方法，具有人体的结构语义信息，对人体的匹配跟踪准确，提供一种在真实场景中实现多人体目标跟踪的方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例的基于人体部位模型的多人体跟踪方法的示意图；
图2为本发明的人体部位特征模型的提取示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
下面对本发明实施例的一种基于人体部位模型的多人体跟踪方法进行具体说明。
本发明实施例提供一种基于人体部位模型的多人体跟踪方法，该多人体跟踪方法适用于智能无人商店的视频监控系统，用于跟踪每个顾客从进入商店到离开商店的整个过程。其主要机理如图1所所示：根据无人智能商店的门禁系统，给出当前商店中的人数，作为多人体跟踪的参照数值；在当前帧采用进行人体检测和姿态估计；计算每个部位的视觉特征；当前帧的目标根据部位与上一帧已有目标进行匹配，同时结合商店的进出数据，进行相应推理得到跟踪结果。
一种基于人体部位模型的多人体跟踪方法，其包括以下步骤：
S1，获取预设区域内的图像数据。在本实施例中，预设区域即无人商店的内部区域，包括进入区、自由活动区(货架区)和离开区(结算区)。通过摄像头采集商店内的图像数据，与摄像头连接的主机对蔡姐的图像数据进行相应的数据处理，包括：
提取所述图像数据中每个检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，多个检测检测目标的部位特征集构成多人体部位特征集列表。
具体地，每个检测目标的部位特征集表示为：
其中，M表示检测目标的数量；
每个检测目标的部位特征集按以下步骤构建：
S11，对所述图像数据中每个检测目标进行人体检测和姿态提取，得到l个人体部位模型和每个所述人体部位模型相对应的部位置信度。优选地，在本实施例中，采用通用的人体姿态提取方法OpenPose进行人体关键点提取。在OpenPose中，给出了人体的18个关键点，以及每个点的置信度，其中置信度小于0.5的关键点并非真实检测到的点，而是由于遮挡，通过算法预测的关键点。在本发明实施例中基于这些关键点，提取出人体的l个主要部位。优选地，在本实施例中，l为10，即提取出人体的10个主要部位作为人体部位模型，能够满足准确性的需求。每个人体部位模型采用旋转矩形表示，以避免截取到更多的背景区域，如图2所示。每个旋转矩形，即人体部位模型包括一个中心点、旋转角度、长宽以及部位置信度，具体如下：
对于头部，以左右耳朵，左右眼、鼻子以及脖子的位置作为关键点。在本发明优选实施例中，根据这些关键点的位置以及每个关键点的置信度，计算出头部区域的人体部位模型。对头部区域的人体部位模型的部位置信度的判断规则如下：
首先，如果关键点的置信度小于0.5，则被认为是遮挡点；若未被遮挡关键点的位置小于3，则认为头部区域被遮挡，矩形置信度为0(该人体部位模型的部位置信度为0)，矩形区域为空。否则去除遮挡点后，根据已有的点，计算包括这些点的一个旋转矩形为头部区域。如果鼻子点未被遮挡，则旋转矩形的中心点为鼻子点；否则以其他点的中心点位置作为矩形的中心。旋转矩形的角度，根据遮挡点的情况，依次选择鼻子和脖子关键点与水平线的夹角、眼睛联系与垂直方向的夹角或者耳朵联系与垂直方向的夹角作为选择矩形的角度。最后矩形的宽度为眼睛和耳朵关键点中未被遮挡点的最远距离，长度为脖子和鼻子点的距离，当这两点有遮挡发生时，以得到的脸部宽度的1.5倍作为长度；同时未被遮挡的关键点的平均置信度作为该人体部位模型的部位置信度。
对于身体躯干部位，以左肩、左臀、右肩、右臀以及脖子的位置作为关键点。计算包含这些关键点的旋转矩形，得到身体躯干区域的人体部位模型。对身体躯干区域的人体部位模型的部位置信度的判断规则如下：
首先，左肩、左臀连接成第一条直线，右肩、右臀连接成第二条直线，这两条直线为矩形的两条对称边。如果两条线中的任一端点被遮挡，则该条直线被判定为遮挡。两条直线均被遮挡，则判定此区域被遮挡。矩形的旋转角度为第一条线或者第二条线与水平方向的夹角。矩形的中心为这些关键点的中心点。当有遮挡发生时，利用脖子关键点和未被遮挡的直线计算中心点。同时矩形的长为直线的长度，宽度为直线的距离。同样，如果有遮挡存在，则通过脖子关键点和未被遮挡直线的距离为宽度。同样旋转矩形的部位置信度为所有未被遮挡的关键点的平均置信度。
对于四肢，划分成了8个区域。每个区域由2个关键点决定。例如左手上肢，以左肩和左手肘作为关键点，计算旋转矩形，得到左手上肢区域的人体部位模型。旋转矩形的中心为这2点的中点，角度为2点连接直线与水平方向的夹角；矩形的长度为直线长度；矩形的宽度为长度*0.4。旋转矩形区域的置信度为这2点的平均置信度。同理，对四肢的其他区域，采用同样的方式计算旋转矩形。最终得到人体的10个部位区域的人体部位特征模型。
S12，计算步骤S11中每一所述人体部位模型的颜色特征，得到每个检测目标的部位特征，表示为：
其中，l表示人体部位模型的个数，在本实施例中，l＝10。Xj表示第j个检测目标的部位特征，Xj由每个人体部位特征模型的颜色特征组成；SXj表示第j个检测目标的部位置信度集合，SXj由每个人体部位模型的部位置信度组成。
进一步地，在本发明较佳实施例中，步骤S12中，通过分布计算三个通道的颜色直方图特征，得到每一所述人体部位模型的颜色特征。特征归一化后，第i个人体部位模型的颜色特征表示为：
Xi＝[R,G,B]＝[rx1,rx2,...,rxn,gx1,gx2,...,gxn,bx1,bx2,...,bxn] (1)，
其中，R，G，B分别表表示三个通道的颜色直方图特征，n表示每个颜色通道的特征长度。优选地，在本实施例中，n＝16。即，每个通道的颜色特征均被量化为16个区间。
S2，计算当前帧获得的每个检测目标的部位特征集与上一帧获得的多人体部位特征集列表中每个检测目标的相似度，根据所述相似度得到匹配矩阵。具体如下：
相似度由当前帧第j个检测目标的对上一帧第k个检测目标对应部位的特征相似度决定，按照以下公式计算得到：
其中，Xj表示当前帧的第j个检测目标的部位特征，Xi j表示当前帧第j个检测目标的第i个部位，Yk表示上一帧的第k个检测目标的部位特征，表示上一帧第k个检测目标的第i个部位，Sim(Xj,Yk)表示当前帧第j个检测目标对上一帧第k个检测目标对应部位的特征相似度。
根据公式(2)计算得到的所述相似度，得到大小为M×L的匹配矩阵SuppM×L，其中，M表示当前帧检测目标的个数，L表示上一帧检测目标的个数。
对于匹配矩阵SuppM×L，每一行代表当前帧的某一个检测目标分别对上一帧的每个检测目标的相似度，每一行均有L个相似度；每一列代表当前帧每个检测目标分别对上一帧某一检测目标的相似度，每一列均有M个相似度，匹配矩阵SuppM×L构成对称矩阵。
S3，根据所述匹配矩阵，计算当前帧获得的每个检测目标对上一帧获得的每个检测目标的相似置信度，根据所述相似度和所述相似置信度对当前帧获得的检测目标与上一帧获得的检测目标进行匹配，推理得到跟踪结果。
具体地，步骤S3中，所述相似置信度根据以下公式计算得到：
其中，Supp(i,j)表示当前帧第j个人对上一帧第k个人的相似度。
进一步地，在本发明较佳实施例中，对当前帧获得的检测目标与上一帧获得的检测目标进行匹配的过程中，将当前帧第j个检测目标的身份判定为与上一帧中相对应的支持度和置信度最大的检测目标，如以下公式所示：
在进行跟踪结果的推理过程中，若仅仅依据匹配矩阵进行推理，有可能出现当前帧的第j个人与上一帧的两个或两个以上检测目标的相似度相同或相似，容易产生误判。本发明实施例同时考察当前帧的检测目标与上一帧的检测目标的相似度以及相似置信度，最大限度保证跟踪结果的准确性。
进一步地，在上述步骤中，还包括对离开所述预设区域的检测目标从已跟踪的所述多人体部位特征列表中进行删除的步骤。具体地，依据无人智能商店的结算系统和门禁系统的数据，如果有顾客离开，即上一帧中存在未被当前帧匹配的检测目标，从已跟踪的多人体部位特征集列表中删除已离开的检测目标。
进一步地，在本发明较佳实施例中，步骤S3之后，还包括以下步骤：
S4，根据所述跟踪结果，更新所述多人体部位特征集列表，包括：
S41，对于步骤S3中当前帧中未被匹配的检测目标进行验证，若验证为新目标，则保留在所述多人体部位特征集列表中，若验证为不是新目标，则将该未被匹配的检测目标从所述多人体部位特征集列表中删除。
具体地，验证规则如下：
读取无人智能商店的门禁数据，如果检测目标的空间位置位于预设区域的进入区，则被认为为是新目标，否则被判定为误检测，将其予以删除。
S42，对于步骤S3中当前帧中每个被匹配的检测目标，对所述检测目标的部位特征集进行更新。
具体地，假设当前帧第j个人的跟踪结果为列表中的第k个人，那么第j个人的第k个部位的特征更新方式如下：
其中，表示当前帧第j个检测目标的第i个人体部位模型的部位置信度，表示上一帧第k个检测目标的第i个人体部位模型的部位置信度。通过比较相互匹配的目标的部位置信度，将部位置信度低的部位特征更新为部位置信度高的部位特征，实现将未被遮挡的部位特征替换到当前帧中被遮挡的部位特征中，不断提高每个人体部位模型的准确度。
本发明实施例通过上述方法，解决了多人体跟踪过程中由于人体形变引起的特征差异，导致跟踪失败的问题。本发明中的人体跟踪方法以人体姿态估计的结果作为输入，从而避免了一般目标跟踪方法中的尺度估计问题。对于遮挡问题，本发明中采用部位特征，可以有效排除遮挡部位，从而解决了因为遮挡引起的特征变化。
以上所描述的实施例是本发明一部分实施例，而不是全部的实施例。本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
Claims (10)
1.一种基于人体部位模型的多人体跟踪方法，其特征在于，其包括以下步骤：
S1，获取预设区域内的图像数据，提取所述图像数据中每个检测目标的人体部位模型并计算所述人体部位模型的颜色特征，构建每个检测目标的部位特征集，多个检测检测目标的部位特征集构成多人体部位特征集列表；
S2，计算当前帧获得的每个检测目标的部位特征集与上一帧获得的多人体部位特征集列表中每个检测目标的相似度，根据所述相似度得到匹配矩阵；
S3，根据所述匹配矩阵，计算当前帧获得的每个检测目标对上一帧获得的每个检测目标的相似置信度，根据所述相似度和所述相似置信度对当前帧获得的检测目标与上一帧获得的检测目标进行匹配，得到跟踪结果。
2.根据权利要求1所述的基于人体部位模型的多人体跟踪方法，其特征在于，步骤S3之后，还包括以下步骤：
S4，根据所述跟踪结果，更新所述多人体部位特征集列表包括：
S41，对于步骤S3中当前帧中未被匹配的检测目标进行验证，若验证为新目标，则保留在所述多人体部位特征集列表中，若验证为不是新目标，则将该未被匹配的检测目标从所述多人体部位特征集列表中删除；
S42，对于步骤S3中当前帧中每个被匹配的检测目标，对所述检测目标的部位特征集进行更新。
3.根据权利要求2所述的基于人体部位模型的多人体跟踪方法，其特征在于，每个检测目标的部位特征集表示为：
X＝[X1,X2,...,XM]，
其中，M表示检测目标的数量；
每个检测目标的部位特征集按以下步骤构建：
S11，对所述图像数据中每个检测目标进行人体检测和姿态提取，得到l个人体部位模型和每个所述人体部位模型相对应的部位置信度；
S12，计算步骤S11中每一所述人体部位模型的颜色特征，得到每个检测目标的部位特征，表示为：
其中，l表示人体部位模型的个数，Xj表示第j个检测目标的部位特征，Xj由每个人体部位特征模型的颜色特征组成；SXj表示第j个检测目标的部位置信度集合，SXj由每个人体部位模型的部位置信度组成。
4.根据权利要求3所述的基于人体部位模型的多人体跟踪方法，其特征在于，步骤S12中，通过分布计算三个通道的颜色直方图特征，得到每一所述人体部位模型的颜色特征，第i个人体部位模型的颜色特征表示为：
Xi＝[R,G,B]＝[rx1,rx2,...,rxn,gx1,gx2,...,gxn,bx1,bx2,...,bxn] (1)，
其中，R，G，B分别表示三个通道的颜色直方图特征，n表示每个颜色通道的特征长度。
5.根据权利要求4所述的基于人体部位模型的多人体跟踪方法，其特征在于，步骤S2中，所述相似度由当前帧第j个检测目标的对上一帧第k个检测目标对应部位的特征相似度决定，按照以下公式计算得到：
其中，Xj表示当前帧的第j个检测目标的部位特征，表示当前帧第j个检测目标的第i个部位，Yk表示上一帧的第k个检测目标的部位特征，Yi k表示上一帧第k个检测目标的第i个部位，Sim(Xj,Yk)表示当前帧第j个检测目标对上一帧第k个检测目标对应部位的特征相似度；
根据公式(2)计算得到的所述相似度，得到大小为M×L的匹配矩阵SuppM×L，其中，M表示当前帧检测目标的个数，L表示上一帧检测目标的个数。
6.根据权利要求5所述的基于人体部位模型的多人体跟踪方法，其特征在于，步骤S3中，所述相似置信度根据以下公式计算得到：
其中，Supp(i,j)表示当前帧第j个人对上一帧第k个人的相似度。
7.根据权利要求6所述的基于人体部位模型的多人体跟踪方法，其特征在于，对当前帧获得的检测目标与上一帧获得的检测目标进行匹配的过程中，将当前帧第j个检测目标的身份判定为与上一帧中相对应的支持度和置信度最大的检测目标，如以下公式所示：
8.根据权利要求7所述的基于人体部位模型的多人体跟踪方法，其特征在于，步骤S42中，根据所述部位置信度对部位特征集进行更新，按照以下公式进行：
其中，表示当前帧第j个检测目标的第i个人体部位模型的部位置信度，表示上一帧第k个检测目标的第i个人体部位模型的部位置信度。
9.根据权利要求7所述的基于人体部位模型的多人体跟踪方法，其特征在于，步骤S41中，验证当前帧中未被匹配的检测目标的方法为：
所述预设区域包括进入区、离开区和自由活动区，如果检测目标的空间位置位于所述进入区，则被验证为是新目标，否则被判定为误检测，验证为不是新目标。
10.根据权利要求9所述的基于人体部位模型的多人体跟踪方法，其特征在于，还包括对离开所述预设区域的检测目标从已跟踪的所述多人体部位特征列表中进行删除的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810064176.1A CN108416258B (zh) | 2018-01-23 | 2018-01-23 | 一种基于人体部位模型的多人体跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810064176.1A CN108416258B (zh) | 2018-01-23 | 2018-01-23 | 一种基于人体部位模型的多人体跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108416258A true CN108416258A (zh) | 2018-08-17 |
| CN108416258B CN108416258B (zh) | 2020-05-08 |
Family
ID=63126276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810064176.1A Expired - Fee Related CN108416258B (zh) | 2018-01-23 | 2018-01-23 | 一种基于人体部位模型的多人体跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108416258B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325450A (zh) * | 2018-09-25 | 2019-02-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109523652A (zh) * | 2018-09-29 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 基于驾驶行为的保险的处理方法、装置、设备及存储介质 |
| CN110226913A (zh) * | 2019-05-24 | 2019-09-13 | 山东海博科技信息系统股份有限公司 | 一种自助体检机视力检测智能化处理方法及装置 |
| WO2020063693A1 (en) * | 2018-09-25 | 2020-04-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image Processing Method and Apparatus, Storage Medium, and Electronic Device |
| CN111178201A (zh) * | 2019-12-20 | 2020-05-19 | 南京理工大学 | 基于OpenPose姿态检测的人体分段式跟踪方法 |
| CN111191705A (zh) * | 2019-12-24 | 2020-05-22 | 上海眼控科技股份有限公司 | 检测人体的安全装备的方法、设备和计算机可读存储介质 |
| CN111639602A (zh) * | 2020-05-29 | 2020-09-08 | 华中科技大学 | 一种行人遮挡及朝向检测方法 |
| CN111881785A (zh) * | 2020-07-13 | 2020-11-03 | 北京市商汤科技开发有限公司 | 客流分析方法及装置、存储介质和系统 |
| CN112200076A (zh) * | 2020-10-10 | 2021-01-08 | 福州大学 | 基于头部躯干特征进行多目标跟踪的方法 |
| CN113554683A (zh) * | 2021-09-22 | 2021-10-26 | 成都考拉悠然科技有限公司 | 一种基于视频分析和物体检测的特征追踪方法 |
| CN113762136A (zh) * | 2021-09-02 | 2021-12-07 | 北京格灵深瞳信息技术股份有限公司 | 人脸图像遮挡判断方法、装置、电子设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214359A (zh) * | 2010-04-07 | 2011-10-12 | 北京智安邦科技有限公司 | 基于层级式特征匹配的目标跟踪装置及方法 |
| CN103985142A (zh) * | 2014-05-30 | 2014-08-13 | 上海交通大学 | 联合数据关联的Mean Shift多目标跟踪方法 |
| CN104200495A (zh) * | 2014-09-25 | 2014-12-10 | 重庆信科设计有限公司 | 一种视频监控中的多目标跟踪方法 |
| CN106815855A (zh) * | 2015-12-02 | 2017-06-09 | 山东科技职业学院 | 基于产生式和判别式结合的人体运动跟踪方法 |
| CN106874884A (zh) * | 2017-03-03 | 2017-06-20 | 中国民航大学 | 基于部位分割的人体再识别方法 |
| US20170228587A1 (en) * | 2016-02-05 | 2017-08-10 | University Of Central Florida Research Foundation, Inc. | System and method for human pose estimation in unconstrained video |
-
2018
- 2018-01-23 CN CN201810064176.1A patent/CN108416258B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214359A (zh) * | 2010-04-07 | 2011-10-12 | 北京智安邦科技有限公司 | 基于层级式特征匹配的目标跟踪装置及方法 |
| CN103985142A (zh) * | 2014-05-30 | 2014-08-13 | 上海交通大学 | 联合数据关联的Mean Shift多目标跟踪方法 |
| CN104200495A (zh) * | 2014-09-25 | 2014-12-10 | 重庆信科设计有限公司 | 一种视频监控中的多目标跟踪方法 |
| CN106815855A (zh) * | 2015-12-02 | 2017-06-09 | 山东科技职业学院 | 基于产生式和判别式结合的人体运动跟踪方法 |
| US20170228587A1 (en) * | 2016-02-05 | 2017-08-10 | University Of Central Florida Research Foundation, Inc. | System and method for human pose estimation in unconstrained video |
| CN106874884A (zh) * | 2017-03-03 | 2017-06-20 | 中国民航大学 | 基于部位分割的人体再识别方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11042215B2 (en) | 2018-09-25 | 2021-06-22 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image processing method and apparatus, storage medium, and electronic device |
| CN109325450A (zh) * | 2018-09-25 | 2019-02-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| WO2020063693A1 (en) * | 2018-09-25 | 2020-04-02 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image Processing Method and Apparatus, Storage Medium, and Electronic Device |
| CN109523652A (zh) * | 2018-09-29 | 2019-03-26 | 百度在线网络技术（北京）有限公司 | 基于驾驶行为的保险的处理方法、装置、设备及存储介质 |
| CN110226913A (zh) * | 2019-05-24 | 2019-09-13 | 山东海博科技信息系统股份有限公司 | 一种自助体检机视力检测智能化处理方法及装置 |
| CN111178201A (zh) * | 2019-12-20 | 2020-05-19 | 南京理工大学 | 基于OpenPose姿态检测的人体分段式跟踪方法 |
| CN111191705A (zh) * | 2019-12-24 | 2020-05-22 | 上海眼控科技股份有限公司 | 检测人体的安全装备的方法、设备和计算机可读存储介质 |
| CN111639602A (zh) * | 2020-05-29 | 2020-09-08 | 华中科技大学 | 一种行人遮挡及朝向检测方法 |
| CN111639602B (zh) * | 2020-05-29 | 2022-04-12 | 华中科技大学 | 一种行人遮挡及朝向检测方法 |
| CN111881785A (zh) * | 2020-07-13 | 2020-11-03 | 北京市商汤科技开发有限公司 | 客流分析方法及装置、存储介质和系统 |
| CN112200076A (zh) * | 2020-10-10 | 2021-01-08 | 福州大学 | 基于头部躯干特征进行多目标跟踪的方法 |
| CN112200076B (zh) * | 2020-10-10 | 2023-02-21 | 福州大学 | 基于头部躯干特征进行多目标跟踪的方法 |
| CN113762136A (zh) * | 2021-09-02 | 2021-12-07 | 北京格灵深瞳信息技术股份有限公司 | 人脸图像遮挡判断方法、装置、电子设备和存储介质 |
| CN113554683A (zh) * | 2021-09-22 | 2021-10-26 | 成都考拉悠然科技有限公司 | 一种基于视频分析和物体检测的特征追踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108416258B (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416258B (zh) | 一种基于人体部位模型的多人体跟踪方法 | |
| CN111161320B (zh) | 一种目标跟踪方法、目标跟踪装置及计算机可读介质 | |
| CN108090433B (zh) | 人脸识别方法及装置、存储介质、处理器 | |
| CN108921107B (zh) | 基于排序损失和Siamese网络的行人再识别方法 | |
| CN102682302B (zh) | 一种基于关键帧的多特征融合的人体姿态识别方法 | |
| CN111274916A (zh) | 人脸识别方法和人脸识别装置 | |
| CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
| CN111353385B (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
| CN111275058B (zh) | 一种基于行人重识别的安全帽佩戴与颜色识别方法及装置 | |
| CN108830237A (zh) | 一种人脸表情的识别方法 | |
| CN114581954B (zh) | 基于行人特征的跨域检索和跟踪目标的方法 | |
| CN113221086B (zh) | 离线人脸认证方法、装置、电子设备及存储介质 | |
| CN113269070A (zh) | 融合全局和局部特征的行人重识别方法、存储器及处理器 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN112926522A (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
| CN114255377A (zh) | 一种智能货柜的差异商品检测分类方法 | |
| CN114627339B (zh) | 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质 | |
| CN114676756A (zh) | 图像识别方法、装置及计算机存储介质 | |
| CN103971100A (zh) | 基于视频并针对自动提款机的伪装与偷窥行为的检测方法 | |
| CN114360182B (zh) | 一种智能告警方法、装置、设备及存储介质 | |
| CN111814653B (zh) | 一种视频中异常行为的检测方法、装置、设备及存储介质 | |
| Li et al. | Location and model reconstruction algorithm for overlapped and sheltered spherical fruits based on geometry | |
| CN111652080B (zh) | 基于rgb-d图像的目标跟踪方法和装置 | |
| CN107886060A (zh) | 基于视频的行人自动检测与跟踪方法 | |
| CN111860097A (zh) | 一种基于模糊理论的异常行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200508 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |