CN113989701A - 一种适用于四足机器人巡检的人体目标识别跟踪方法 - Google Patents

一种适用于四足机器人巡检的人体目标识别跟踪方法 Download PDF

Info

Publication number
CN113989701A
CN113989701A CN202111192988.2A CN202111192988A CN113989701A CN 113989701 A CN113989701 A CN 113989701A CN 202111192988 A CN202111192988 A CN 202111192988A CN 113989701 A CN113989701 A CN 113989701A
Authority
CN
China
Prior art keywords
target
tracking
particles
particle
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111192988.2A
Other languages
English (en)
Inventor
朱孟周
朱睿
陶风波
黄强
陈久林
梁伟
黄浩声
李虎成
黄哲忱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Jiangsu Electric Power Co Ltd
Priority to CN202111192988.2A priority Critical patent/CN113989701A/zh
Publication of CN113989701A publication Critical patent/CN113989701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种适用于四足机器人巡检的人体目标识别跟踪方法，实现四足机器人移动过程中相机剧烈颠簸下达到快速稳定地人体目标识别跟踪，主要由观测模型和运动模型构成，一方面通过观测模型的分类检测器进行行人类别的检测，再通过目标识别器进行目标人的识别；另一方面通过运动模型的高斯运动模型传递粒子覆盖追踪目标，可以解决人体目标被遮挡问题，再通过特征点跟踪模型进行粒子运动状态预测，降低由于相机抖动造成的画面跃迁时跟踪漂移的概率。

Description

一种适用于四足机器人巡检的人体目标识别跟踪方法
技术领域
本发明涉及机器人领域与计算机视觉领域，具体涉及一种适用于四足机器人巡检场景下的人体目标识别跟踪方法。
背景技术
移动机器人应用领域正在快速扩展，无论是服务型机器人还是军事作战机器人等，人体目标识别跟踪是智能服务机器人需要具备的重要功能之一。人体目标识别跟踪是实现移动机器人跟随目标人任务的关键技术，需要为移动机器人提供人体目标的相对位置。目前，人体目标识别跟踪技术已在视频监控和智能驾驶等领域广泛应用。
现有的人体目标识别跟踪算法的应用场景大多为相机固定的监控场景或者移动平稳的平台，但在足式机器人应用场景中，相机频繁的抖动和目标的快速运动使得现有的识别跟踪算法很容易产生漂移，往往跟踪失败。面向四足机器人跟随作业的目标人跟踪技术面临如下挑战：(1)背景和光照的变化；(2)人体的非刚体性导致目标人的姿态千变万化；(3)目标人被其他物体或行人遮挡；(4)频繁抖动造成的图像模糊和画面跳跃。
发明内容
本发明的目的在于克服上述技术存在的缺陷，提供了一种适用于四足机器人巡检的人体目标识别跟踪方法，能够在四足机器人移动过程中，相机剧烈颠簸下达到快速稳定地实现人体目标识别跟踪目的。
一种适用于四足机器人巡检的人体目标识别跟踪方法，在粒子滤波的框架下进行人体目标识别跟踪，包括以下步骤：
S1：初始化：从视频帧中获取人体目标的初始状态Xt-1，t时刻的粒子集合为
Figure BDA0003301916540000021
由Xt-1以迭代的方式生成，其中Ns表示粒子数目；
S2：目标状态预测：运动模型采用高斯运动模型及特征点跟踪模型结合的方式完成目标状态预测，高斯运动模型传递粒子覆盖追踪目标，解决人体目标被遮挡问题；特征点跟踪模型进行粒子运动状态预测，降低由于相机抖动造成的画面跃迁时跟踪漂移的概率；
S3：系统观测：观测模型采用分类检测器及目标识别器结合的方式完成对目标人位置估计；通过观测模型的分类检测器进行行人类别的检测，再通过目标识别器进行目标人的识别，完成目标人位置估计；
S4：重采样：通过观测模型得到粒子的权重，经过归一化权重后进行重采样，对分类器模板进行更新，得到当前时刻的最终粒子集；
S5：目标跟踪结果：根据最终粒子集计算每个目标状态，并加权平均得到目标跟踪结果；检查下一时刻的信息是否到达，若是，返回步骤S2，并把最终粒子集作为下一次滤波过程的输入；否则，目标跟踪过程结束。
优选地，所述运动模型中粒子的状态向量为X＝[x,y,s,μ,ν]T，其中，(x,y)为图像坐标系下二维位置坐标；s为粒子的像素宽度；(μ,ν)分别为x坐标轴和y坐标轴上的速度分量；t时刻的粒子集合为
Figure BDA0003301916540000022
由Xt-1以迭代的方式生成，其中Ns表示粒子数目；
优选地，所述高斯运动模型进行粒子的传递过程为：
Figure BDA0003301916540000031
其中，
Figure BDA0003301916540000032
为t时刻第i个粒子的状态向量，过程噪声
Figure BDA0003301916540000033
服从零均值的正态分布，假设每一维状态变量之间彼此独立；位置(x,y)和像素宽度s的噪声方差与目标的大小成正比；速度分量(μ,ν)的噪声方差为常量。
优选地，所述特征点跟踪模型为：
在t-1时刻的跟踪结果矩形框内提取特征点，计算特征点的中心
Figure BDA0003301916540000034
之后使用Lucas-Canade光流法来跟踪当前帧的特征点，并计算所跟踪到的特征点中心，记为
Figure BDA0003301916540000035
粒子的期望状态记为
Figure BDA0003301916540000036
由式(2)给出：
Figure BDA0003301916540000037
其中，假设前一帧特征点中心
Figure BDA0003301916540000038
当前帧特征点中心
Figure BDA0003301916540000039
以及对应的跟踪矩形框结果
Figure BDA00033019165400000310
相对位置关系保持不变，最后将特征点跟模型生成的粒子由以
Figure BDA00033019165400000311
为均值的高斯分布采样得到；
通过特征点跟踪给出目标位置，如(3)式所示：
Figure BDA00033019165400000312
其中，
Figure BDA00033019165400000313
为高斯噪声，
Figure BDA00033019165400000314
为前一帧的跟踪结果；Ω(·)为将前一帧的跟踪结果
Figure BDA00033019165400000315
映射为t时刻粒子集合
Figure BDA00033019165400000316
的期望状态
Figure BDA00033019165400000317
优选地，所述运动模型采用高斯运动模型及特征点跟踪模型结合的粒子传递模型为：
Xt＝ηXt+(1-η)Xt (4)
其中，η表示高斯运动模型传递粒子的百分比，0≤η≤1；全体粒子分成两个部分，一部分由高斯运动模型传递，有ηNs个粒子；另一部分由特征点跟踪模型传递，剩余(1-η)Ns个粒子；η的值依据瞬时位移检测器进行自适应调整，当检测到瞬时位移时，增大特征点跟踪模型的权重，即减小η的值。
优选地，所述分类检测器用于检测出行人的概率，采用基于HOG特征和SVM分类器的行人检测算法，将每个粒子对应的图像块统一为64×128像素块大小，然后提取像素块的HOG特征，将其输入预先训练好的SVM分类器，得到每个粒子的分类器得分，最后把得分经过非极大值抑制处理得到最终结果。
优选地，所述目标识别器用来精准识别目标人，包括：
1)模板池准备：首先根据目标人的身份描述标识搜索存储空间中是否已经存在模板，若存在，则直接从存储空间里读取模板；若不存在，则进行在线准备，将出现目标人的画面作为模板池的第一个模板，后续通过识别确定的目标人丰富模板池；起始模板Tinit从目标人的视频中每隔s秒收集若干帧图像，即
Figure BDA0003301916540000041
其中Ni表示起始的模板数量；
2)特征描述子：通过提取通道直方图特征作为粒子的特征描述子，将t时刻的图像的LUV色彩空间、梯度幅值和六方向(0°、30°、60°、90°、120°、150°)上的梯度直方图，在所述LUV色彩空间三通道上直接提取粒子对应的像素块上的直方图特征，所述六方向的梯度直方图通道则将每个方向通道对应像素块的像素值求和；若
Figure BDA0003301916540000042
分别表示粒子
Figure BDA0003301916540000043
的LUV色彩空间三通道直方图特征，第j个像素小块的方向梯度直方图特征为
Figure BDA0003301916540000044
则t时刻的第i个粒子特征描述可表示为
Figure BDA0003301916540000045
前三个部分描述色彩信息，后N个描述局部轮廓信息；
3)模板匹配：使用巴氏距离(Bhattacharyya)衡量粒子与模板之间的匹配相似度，距离定义为
Figure BDA0003301916540000051
其中C为候选粒子，T为模板，
Figure BDA0003301916540000052
分别表示候选粒子与模板的第i个特征组分，函数b(·)表示两个向量间的巴氏距离；因此候选粒子C与起始模板Tinit之间的距离为d(C,Tinit)＝min{d(C,Ti)}，取候选粒子与起始模板间距离的最小值，类似的，候选粒子C与当前模板Tcurr之间的距离则为d(C,Tcurr)＝min{d(C,Ti)}，Ti∈Tcurr；而候选C与整个模板池的距离定义为其与两个时刻模板距离的加权和，如式(5)所示：
d＝γd(C,Tinit)+(1-γ)d(C,Tcurr)。 (5)
优选地，所述观测模型由分类检测器和目标识别器组成，如式(6)所示：
Figure BDA0003301916540000053
其中，
Figure BDA0003301916540000054
表示分类检测器给出的粒子是行人的概率，
Figure BDA0003301916540000055
表示目标识别器给出的粒子是目标人的概率，
Figure BDA0003301916540000056
表示置信度权重参数。
优选地，所述步骤S4包括：
粒子的权重
Figure BDA0003301916540000057
通过式(7)进行迭代更新：
Figure BDA0003301916540000058
其中，
Figure BDA0003301916540000059
为观测模型，式(7)计算得到粒子权重后进行归一化，使得
Figure BDA00033019165400000510
之后对所有粒子进行加权平均，得到跟踪结果
Figure BDA00033019165400000511
本申请所采用的一种适用于四足机器人巡检的人体目标识别跟踪方法，通过上述技术方案，本申请的有益效果是：
本申请针对四足机器人移动过程中进行人体目标识别跟踪的需求，提供了在粒子滤波框架下的双模态结合的运动模型和观测模型，可以一定程度上解决四足机器人移动过程中相机上下颠簸、目标被遮挡以及视野画面跃迁(目标发生瞬时位移)的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的目标识别跟踪算法的流程示意图；
图2为本申请实施例提供的粒子滤波观测模型分类检测器检测行人的流程图；
图3为本申请实施例提供的粒子滤波观测模型目标识别器的工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本申请针对四足机器人在移动过程中进行人体目标识别跟踪的需求，提出了一种基于粒子滤波框架的双模态互补的观测和运动模型。一方面通过观测模型的分类检测器进行行人类别检测，再通过目标识别器进行目标人的识别；另一方面通过运动模型的高斯运动模型传递粒子覆盖追踪目标，解决四足机器人视野视频颠簸抖动问题，再通过特征点跟踪模型进行粒子运动状态预测降低画面跃迁时跟踪漂移的概率。
本申请提供的一种适用于四足机器人巡检的人体目标识别跟踪方法，在粒子滤波的框架下进行人体目标识别跟踪。
粒子滤波(PF:Particle Filter)的思想基于蒙特卡洛方法(Monte Carlomethods)，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型上。其核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布，是一种顺序重要性采样法(Sequential Importance Sampling)。假设系统的状态空间模型如下式：
Xk＝fk(Xk-1,Vk-1) (1)
Zk＝hk(Xk,Nk-1) (2)
式(1)表示状态转移模型，其中Xk代表系统k时的状态向量，Vk代表状态的噪声向量，fk代表状态转移方程；式(2)表示观测模型，其中Zk代表系统k时的测量值，Nk代表系统测量噪声，hk代表观测方程。粒子滤波基于贝叶斯滤波分为预测与更新。预测是指依据系统的运动模型和k-1时刻状态的后验概率，计算出k时刻状态的先验概率，由式(3)给出：
p(Xk|Z1:k-1)＝∫p(Xk|Xk-1)p(Xk-1|Z1:k-1)dXk-1 (3)
其中，p(Xk-1|Z1:k-1)代表前一次迭代的结果，p(Xk|Xk-1)则由状态转移模型得到。
更新是指依据贝叶斯法则通过观测模型将先验概率跟新为后验概率，由式(4)得到：
p(Xk|Z1:k-1)∝p(Zk|Xk)p(X|Z1:k-1) (4)
其中p(Zk|Xk)由观测模型得到。
请参见图1，本申请人体目标识别跟踪方法包括以下步骤：
S1：初始化：从视频帧中获取人体目标的初始状态Xt-1，t时刻的粒子集合为
Figure BDA0003301916540000071
由Xt-1以迭代的方式生成，其中Ns表示粒子数目；
S2：目标状态预测：运动模型采用高斯运动模型及特征点跟踪模型结合的方式完成目标状态预测，高斯运动模型传递粒子覆盖追踪目标，解决人体目标被遮挡问题；特征点跟踪模型进行粒子运动状态预测，降低由于相机抖动造成的画面跃迁时跟踪漂移的概率；
本申请粒子滤波的运动模型包含高斯运动和点特征跟踪两个模型，通过该双模态互补的运动模型，生成传递的粒子即使在四足机器人相机频繁抖动和视野目标快速移动的视频序列中，也能准确追踪覆盖到目标。运动模型中记粒子的状态向量X＝[x,y,s,μ,ν]T的各部分组成含义如下：(x,y)，图像坐标系下二维位置坐标；s，粒子的像素宽度；(μ,ν)，分别为x坐标轴和y坐标轴上的速度分量。为减小状态空间维度，算法中假设粒子的像素高宽比δ是固定的，即h＝δs。取δ固定值为0.42，在整个算法实验过程中保持不变。记t时刻的粒子集合为
Figure BDA0003301916540000081
由Xt-1以迭代的方式生成，其中Ns表示粒子数目。
高斯运动模型：行人的运动具有随机性，尤其在相机颠簸抖动的情况下，难以准确预测出人体目标的下一步行动，可能出现在前一帧位置附近的任意位置，因此采用高斯运动模型来进行传递覆盖，假设连续两帧之间人体目标的运动是匀速的，通过添加高斯噪声使得粒子具有更大的覆盖性。记t时刻第i个粒子为
Figure BDA0003301916540000082
则随机游走迭代传递粒子的过程如下：
Figure BDA0003301916540000083
过程噪声
Figure BDA0003301916540000084
服从零均值的正态分布，假设每一维状态变量之间彼此独立。其中，位置(x,y)和像素宽度s的噪声方差与目标的大小成正比，目标的宽度越大，方差也越大；速度分量的噪声方差设为常量。当运动连续性假设成立时，由高斯运动模型传递的粒子具有很好的代表性，人体目标只要出现在前一帧位置的周围附近，这些粒子都能精准覆盖到目标。但是高斯运动模型只能解决相机抖动问题，当画面跳跃时即人体目标瞬时位移发生时，人体目标偏离原位置较大，高斯运动模型生成的粒子无法广泛的覆盖到目标，粒子失去代表性，我们当然也可以使用更多的粒子覆盖更大的区域，但这样导致的运算负载过重，也会包含更多的背景干扰，因此通过另一个特征点跟踪模型来互补解决此问题。
本申请实施例提供的高斯运动模型的追踪框跟踪人体目标，蓝色的追踪框表示高斯运动模型覆盖的前一帧目标位置的附近区域，红色追踪框表示追踪的结果，但这种方法对于目标发生瞬时位移(画面跃迁)时则会跟踪漂移。
特征点跟踪模型：在t-1时刻的跟踪结果矩形框内提取特征点(Harris角点)，然后计算这些特征点的中心，我们用它们的位置均值来表示中心，记为
Figure BDA0003301916540000091
之后使用Lucas-Canade光流法来跟踪当前帧这些特征点，并计算所跟踪到的特征点中心，记为
Figure BDA0003301916540000092
粒子的期望状态记为
Figure BDA0003301916540000093
由式(4)给出：
Figure BDA0003301916540000094
上式中假设前一帧特征点中心
Figure BDA0003301916540000095
当前帧特征点中心
Figure BDA0003301916540000096
以及对应的跟踪矩形框结果
Figure BDA0003301916540000097
相对位置关系保持不变，最后将特征点跟模型生成的粒子由以
Figure BDA0003301916540000098
为均值的高斯分布采样得到。通过特征点跟踪相对准确地给出目标位置，如(5)式所示：
Figure BDA0003301916540000099
其中，
Figure BDA00033019165400000910
为高斯噪声，
Figure BDA00033019165400000911
是前一帧的跟踪结果。Ω(·)是特征点跟踪核心过程，将前一帧的跟踪结果
Figure BDA00033019165400000912
映射为t时刻粒子集合
Figure BDA0003301916540000101
的期望状态
Figure BDA0003301916540000102
虽然特征点跟踪可以解决画面跃迁即目标瞬时位移问题，但是当画面中人体目标被完遮挡时，特征点跟踪模型则会失去效用产生跟踪漂移，因此可以结合高斯运动模型优势来处理目标遮挡问题。
本申请实施例提供的特征点跟踪模型的跟踪流程，在四足机器人移动过程中，相机的颠簸抖动很容易产生瞬时位移，我们通过特征点跟踪来预测目标将要出现的位置，黄色追踪框表示由特征点跟踪生成的粒子高斯分布采样得到。但这种方法对于目标被遮挡的问题则会失去效果，当目标被完全遮挡时跟踪提取的特征点会最终聚集到遮挡物上，这样提取的遮挡物的特征则已失去传递价值，最终导致追踪失败。
双模型结合：工作流程为首先计算目标检测的结果图像帧特征点
Figure BDA0003301916540000103
和
Figure BDA0003301916540000104
之间的欧式距离d，代表了目标在图像坐标系下发生的像素位移；d的值越大代表着目标发生瞬时位移的可能越大。我们设定当d的值大于10或者
Figure BDA0003301916540000105
像素时，判定检测目标发生瞬时位移。瞬时位移发生时高斯运动模型无法顺利覆盖捕捉到目标，这时可以依靠特征点跟踪模型来进行跟踪，因此结合高斯运动模型和特征点跟踪模型的各自优点进行互补，如式(6)所示：
Xt＝ηXt+(1-η)Xt (6)
式中η表示高斯运动模型传递粒子的百分比，0≤η≤1；将全体粒子分成两个部分，一部分由高斯运动模型传递，有ηNs个粒子；另一部分由特征点跟踪模型传递，剩余(1-η)Ns个粒子。η的值会依据瞬时位移检测器进行自适应调整，当瞬时位移被检测到时，赋予特征点跟踪模型更大的权重，即减小η的值，例如设η的值为0.2，表示特征点跟踪模型作用占主导地位；没有检测到瞬时位移时，则增大η的值，使高斯运动模型作用占主导作用，避免人体目标被遮挡时特征点跟踪模型失效的情况。
结合高斯运动模型和特征点跟踪模型的各自优势来解决瞬时位移和目标被遮挡问题，产生了比较好的鲁棒效果。
S3：系统观测：观测模型采用分类检测器及目标识别器结合的方式完成对目标人位置估计；通过观测模型的分类检测器进行行人类别的检测，再通过目标识别器进行目标人的识别，完成目标人位置估计；
分类检测器：参考使用经典的基于HOG(方向梯度直方图)特征和SVM分类器的行人检测算法。将每一个粒子对应的图像块统一为64×128像素块大小，然后提取像素块的HOG特征，将其作为输入给预先训练好的SVM分类器，得到每个粒子的分类器得分，最后把得分经过非极大值抑制处理得到最终结果。因为SVM分类器的得分可能为负数，所有我们将得分通过指数函数映射以及归一化处理最终作为粒子是行人的似然概率
Figure BDA0003301916540000111
但该分类检测器只能分类出行人，每个行人都可以都到高分的检测结果，但不能聚焦到某一具体行人目标，容易受到其他行人目标干扰，因此还需要目标检测器来精准识别目标人。
如图2所示，本申请实施例提供的使用基于方向梯度直方图(HOG)特征和SVM分类器的行人检测算法，首先需要预先在行人检测数据集上进行SVM分类器的训练，然后把每个粒子对应的像素块统一为64×128大小，再提取每个像素块的HOG特征描述子，每提取一次，就将其输入给训练好的SVM分类器。
目标识别器：分类检测器给出的是检测出行人的概率，目标检测器则用来精准识别目标人。我们采用通常的特征+匹配的方法，主要由三部分组成：模板池准备、特征描述子、模板匹配。
1)模板池准备：要想精准的识别目标人，需要预先准备目标人的模板图像，这为后续的目标人的识别提供识别依据。一般模板池中需要准备目标人的多幅图像，覆盖目标人的多种姿态，以便增强识别的准确率。首先根据提供的目标人的身份描述标识(如姓名、编号代码等)搜素存储中是否已经存在模板，若存在则直接从存储空间里读取模板，避免重新加载重复的模板；若不存在则进行在线准备，在模板池达到存储边界前是不断更新的，将出现目标人的画面作为模板池的第一个模板，后续通过识别确定的目标人将继续用来丰富模板池。起始的模板Tinit我们从目标人的视频中每隔s秒收集若干帧图像，即
Figure BDA0003301916540000112
其中Ni表示起始的模板数量，若时间t≤1+(Ni-1)s的时候，模板池只存在起始模板。
2)特征描述子：通过提取通道直方图特征作为图像粒子的特征描述子。将t时刻的图像10种通道包括LUV色彩空间、梯度幅值和六方向(0°，30°，60°，90°，120°，150°)上的梯度直方图，在LUV色彩空间三通道上直接提取粒子对应的像素块上的直方图特征，而对于方向梯度直方图通道则将每个方向通道对应像素块的像素值求和，这些通道直方图特征则会包含人体目标的色彩信息和轮廓(梯度)信息。若
Figure BDA0003301916540000121
分别表示粒子
Figure BDA0003301916540000122
的LUV色彩空间三通道直方图特征，第j个像素小块的方向梯度直方图特征为
Figure BDA0003301916540000123
则t时刻的第i个粒子特征描述可表示为
Figure BDA0003301916540000124
它总共有N+3个，前三个部分描述色彩信息，后N个描述局部轮廓信息。
3)模板匹配：使用巴氏距离(Bhattacharyya)衡量粒子与模板之间的匹配相似度，距离定义为
Figure BDA0003301916540000125
其中C为候选粒子，T为模板，
Figure BDA0003301916540000126
分别表示候选粒子与模板的第i个特征组分，函数b(·)表示两个向量间的巴氏距离。因此候选粒子C与起始模板Tinit之间的距离为d(C,Tinit)＝min{d(C,Ti)}，取候选粒子与起始模板间距离的最小值，类似的，候选粒子C与当前模板Tcurr之间的距离则为d(C,Tcurr)＝min{d(C,Ti)}，Ti∈Tcurr。而候选C与整个模板池的距离定义为它与两个时刻模板距离的加权和，如下式所示。
d＝γd(C,Tinit)+(1-γ)d(C,Tcurr) (7)
观测模型：由分类检测器和目标识别器组成，如下式：
Figure BDA0003301916540000127
其中，
Figure BDA0003301916540000128
表示的是分类检测器给出的粒子是行人的概率，
Figure BDA0003301916540000129
表示的是目标识别器给出的粒子是目标人的概率，
Figure BDA00033019165400001210
表示的是置信度权重参数，
Figure BDA00033019165400001211
越大表示观测模型倾向于相信目标识别器，反之则倾向于分类检测器结果。
如图3所示，本申请实施例提供的目标识别器基于模板匹配的方法来精确识别目标人，主要由模板池、特征描述子提取、模板匹配三个部分组成，模板池内模板准备的好坏直接会影响最终匹配概率的结果，因此我们设计了动态更新的模板池，它由不同时刻的目标人模板组成。
S4：重采样：通过观测模型得到粒子的权重，经过归一化权重后进行重采样，对分类器模板进行更新，得到当前时刻的最终粒子集；
粒子滤波的重要性分布为q(·)＝p(Xt|Xt-1)，当得到t时刻的观测值Yt(时，粒子的权重
Figure BDA0003301916540000131
通过式(9)进行迭代更新：
Figure BDA0003301916540000132
其中，
Figure BDA0003301916540000133
为观测模型。
S5：目标跟踪结果：根据最终粒子集计算每个目标状态，并加权平均得到目标跟踪结果；检查下一时刻的信息是否到达，若是，返回步骤S2，并把最终粒子集作为下一次滤波过程的输入；否则，目标跟踪过程结束。
式(5)计算得到粒子权重后需要先进行归一化，使得
Figure BDA0003301916540000134
之后对所有粒子进行加权平均，最终得到跟踪结果
Figure BDA0003301916540000135
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种适用于四足机器人巡检的人体目标识别跟踪方法，在粒子滤波的框架下进行人体目标识别跟踪，其特征在于，所述方法包括以下步骤：
S1：初始化：从视频帧中获取人体目标的初始状态Xt-1，t时刻的粒子集合为
Figure FDA0003301916530000011
由Xt-1以迭代的方式生成，其中Ns表示粒子数目；
S2：目标状态预测：运动模型采用高斯运动模型及特征点跟踪模型结合的方式完成目标状态预测，高斯运动模型传递粒子覆盖追踪目标，解决人体目标被遮挡问题；特征点跟踪模型进行粒子运动状态预测，降低由于相机抖动造成的画面跃迁时跟踪漂移的概率；
S3：系统观测：观测模型采用分类检测器及目标识别器结合的方式完成对目标人位置估计；通过观测模型的分类检测器进行行人类别的检测，再通过目标识别器进行目标人的识别，完成目标人位置估计；
S4：重采样：通过观测模型得到粒子的权重，经过归一化权重后进行重采样，对分类器模板进行更新，得到当前时刻的最终粒子集；
S5：目标跟踪结果：根据最终粒子集计算每个目标状态，并加权平均得到目标跟踪结果；检查下一时刻的信息是否到达，若是，返回步骤S2，并把最终粒子集作为下一次滤波过程的输入；否则，目标跟踪过程结束。
2.根据权利要求1所述的人体目标识别跟踪方法，其特征在于，所述运动模型中粒子的状态向量为X＝[x,y,s,μ,ν]T，其中，(x,y)为图像坐标系下二维位置坐标；s为粒子的像素宽度；(μ,ν)分别为x坐标轴和y坐标轴上的速度分量；t时刻的粒子集合为
Figure FDA0003301916530000012
由Xt-1以迭代的方式生成，其中Ns表示粒子数目。
3.根据权利要求2所述的人体目标识别跟踪方法，其特征在于，所述高斯运动模型进行粒子的传递过程为：
Figure FDA0003301916530000021
其中，
Figure FDA0003301916530000022
为t时刻第i个粒子的状态向量，过程噪声
Figure FDA0003301916530000023
服从零均值的正态分布，假设每一维状态变量之间彼此独立；位置(x,y)和像素宽度s的噪声方差与目标的大小成正比；速度分量(μ,ν)的噪声方差为常量。
4.根据权利要求3所述的人体目标识别跟踪方法，其特征在于，所述特征点跟踪模型为：
在t-1时刻的跟踪结果矩形框内提取特征点，计算特征点的中心
Figure FDA0003301916530000024
之后使用Lucas-Canade光流法来跟踪当前帧的特征点，并计算所跟踪到的特征点中心，记为
Figure FDA0003301916530000025
粒子的期望状态记为
Figure FDA0003301916530000026
由式(2)给出：
Figure FDA0003301916530000027
其中，假设前一帧特征点中心
Figure FDA0003301916530000028
当前帧特征点中心
Figure FDA0003301916530000029
以及对应的跟踪矩形框结果
Figure FDA00033019165300000210
相对位置关系保持不变，最后将特征点跟模型生成的粒子由以
Figure FDA00033019165300000211
为均值的高斯分布采样得到；
通过特征点跟踪给出目标位置，由式(3)所示：
Figure FDA0003301916530000031
其中，
Figure FDA0003301916530000032
为高斯噪声，
Figure FDA0003301916530000033
为前一帧的跟踪结果；Ω(·)为将前一帧的跟踪结果
Figure FDA0003301916530000034
映射为t时刻粒子集合
Figure FDA0003301916530000035
的期望状态
Figure FDA0003301916530000036
5.根据权利要求4所述的人体目标识别跟踪方法，其特征在于，所述运动模型采用高斯运动模型及特征点跟踪模型结合的粒子传递模型为：
Xt＝ηXt+(1-η)Xt (4)
其中，η表示高斯运动模型传递粒子的百分比，0≤η≤1；全体粒子分成两个部分，一部分由高斯运动模型传递，有ηNs个粒子；另一部分由特征点跟踪模型传递，剩余(1-η)Ns个粒子；η的值依据瞬时位移检测器进行自适应调整，当检测到瞬时位移时，增大特征点跟踪模型的权重，即减小η的值。
6.根据权利要求1所述的人体目标识别跟踪方法，其特征在于，所述分类检测器用于检测出行人的概率，采用基于HOG特征和SVM分类器的行人检测算法，将每个粒子对应的图像块统一为64×128像素块大小，然后提取像素块的HOG特征，将其输入预先训练好的SVM分类器，得到每个粒子的分类器得分，最后把得分经过非极大值抑制处理得到最终结果。
7.根据权利要求6所述的人体目标识别跟踪方法，其特征在于，所述目标识别器用来精准识别目标人，包括：
1)模板池准备：首先根据目标人的身份描述标识搜索存储空间中是否已经存在模板，若存在，则直接从存储空间里读取模板；若不存在，则进行在线准备，将出现目标人的画面作为模板池的第一个模板，后续通过识别确定的目标人丰富模板池；起始模板Tinit从目标人的视频中每隔s秒收集若干帧图像，即
Figure FDA0003301916530000041
其中Ni表示起始的模板数量；
2)特征描述子：通过提取通道直方图特征作为粒子的特征描述子，将t时刻的图像的LUV色彩空间、梯度幅值和六方向(0°、30°、60°、90°、120°、150°)上的梯度直方图，在所述LUV色彩空间三通道上直接提取粒子对应的像素块上的直方图特征，所述六方向的梯度直方图通道则将每个方向通道对应像素块的像素值求和；若
Figure FDA0003301916530000042
分别表示粒子
Figure FDA0003301916530000043
的LUV色彩空间三通道直方图特征，第j个像素小块的方向梯度直方图特征为
Figure FDA0003301916530000044
则t时刻的第i个粒子特征描述可表示为
Figure FDA0003301916530000045
前三个部分描述色彩信息，后N个描述局部轮廓信息；
3)模板匹配：使用巴氏距离(Bhattacharyya)衡量粒子与模板之间的匹配相似度，距离定义为
Figure FDA0003301916530000046
其中C为候选粒子，T为模板，
Figure FDA0003301916530000047
分别表示候选粒子与模板的第i个特征组分，函数b(·)表示两个向量间的巴氏距离；因此候选粒子C与起始模板Tinit之间的距离为d(C,Tinit)＝min{d(C,Ti)}，取候选粒子与起始模板间距离的最小值，类似的，候选粒子C与当前模板Tcurr之间的距离则为d(C,Tcurr)＝min{d(C,Ti)}，Ti∈Tcurr；而候选C与整个模板池的距离定义为其与两个时刻模板距离的加权和，γ表示目标检测器更倾向于信任哪个时刻的模板，如式(5)所示：
d＝γd(C,Tinit)+(1-γ)d(C,Tcurr)。 (5)
8.根据权利要求1所述的人体目标识别跟踪方法，其特征在于，所述观测模型由分类检测器和目标识别器组成，如式(6)所示：
Figure FDA0003301916530000051
其中，
Figure FDA0003301916530000052
表示分类检测器给出的粒子是行人的概率，
Figure FDA0003301916530000053
表示目标识别器给出的粒子是目标人的概率，
Figure FDA0003301916530000054
表示置信度权重参数。
9.根据权利要求1所述的人体目标识别跟踪方法，其特征在于，所述步骤S4包括：
粒子的权重
Figure FDA0003301916530000055
通过式(7)进行迭代更新：
Figure FDA0003301916530000056
其中，
Figure FDA0003301916530000057
为观测模型，式(7)计算得到粒子权重后进行归一化，使得
Figure FDA0003301916530000058
之后对所有粒子进行加权平均，得到跟踪结果
Figure FDA0003301916530000059
CN202111192988.2A 2021-10-13 2021-10-13 一种适用于四足机器人巡检的人体目标识别跟踪方法 Pending CN113989701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111192988.2A CN113989701A (zh) 2021-10-13 2021-10-13 一种适用于四足机器人巡检的人体目标识别跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111192988.2A CN113989701A (zh) 2021-10-13 2021-10-13 一种适用于四足机器人巡检的人体目标识别跟踪方法

Publications (1)

Publication Number Publication Date
CN113989701A true CN113989701A (zh) 2022-01-28

Family

ID=79738431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111192988.2A Pending CN113989701A (zh) 2021-10-13 2021-10-13 一种适用于四足机器人巡检的人体目标识别跟踪方法

Country Status (1)

Country Link
CN (1) CN113989701A (zh)

Similar Documents

Publication Publication Date Title
Portmann et al. People detection and tracking from aerial thermal views
Yazdi et al. New trends on moving object detection in video images captured by a moving camera: A survey
CN108470332B (zh) 一种多目标跟踪方法及装置
Cannons A review of visual tracking
EP2192549B1 (en) Target tracking device and target tracking method
Rout A survey on object detection and tracking algorithms
US20070237359A1 (en) Method and apparatus for adaptive mean shift tracking
Serratosa et al. A probabilistic integrated object recognition and tracking framework
Soleimanitaleb et al. Single object tracking: A survey of methods, datasets, and evaluation metrics
Nallasivam et al. Moving human target detection and tracking in video frames
Ali et al. Vehicle detection and tracking in UAV imagery via YOLOv3 and Kalman filter
Nandhini et al. SIFT algorithm-based Object detection and tracking in the video image
Wang et al. A novel background-weighted histogram scheme based on foreground saliency for mean-shift tracking
Bardas et al. 3D tracking and classification system using a monocular camera
CN113989701A (zh) 一种适用于四足机器人巡检的人体目标识别跟踪方法
Owczarek et al. Pedestrian tracking in video sequences: a particle filtering approach
Kumar et al. Pedestrian Tracking in UAV Images With Kalman Filter Motion Estimator and Correlation Filter
BURGAZ et al. Detection of Object (Weapons) With Deep Learning Algorithms From İmages Obtained By Unmanned Aerial Vehicles
WO2021157133A1 (ja) 再同定装置、再同定プログラム、および再同定方法
Al Najjar et al. Object detection
Kerdvibulvech Hybrid model of human hand motion for cybernetics application
Pawar et al. Effective Object Detection and Tracking for Holonomic Robot using Deep Neural Architecture
Alreshidi et al. Characterizing human behaviours using statistical motion descriptor
Ali et al. Deep Trajectory for Recognition of Human Behaviours
Kümmerle et al. Real-time detection and tracking of multiple humans from high bird’s-eye views in the visual and infrared spectrum

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination