CN108876819A - 一种基于泊松多伯努利滤波的三维多目标追踪算法 - Google Patents

一种基于泊松多伯努利滤波的三维多目标追踪算法 Download PDF

Info

Publication number
CN108876819A
CN108876819A CN201810592749.8A CN201810592749A CN108876819A CN 108876819 A CN108876819 A CN 108876819A CN 201810592749 A CN201810592749 A CN 201810592749A CN 108876819 A CN108876819 A CN 108876819A
Authority
CN
China
Prior art keywords
target
poisson
detection
bernoulli jacob
pmbm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810592749.8A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810592749.8A priority Critical patent/CN108876819A/zh
Publication of CN108876819A publication Critical patent/CN108876819A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于泊松多伯努利滤波的三维多目标追踪算法，其主要内容包括目标公式化、目标检测和目标追踪，其过程为，首先将目标图像用参数特征向量表示出来；然后，运用深度学习网络处理目标图像以输出检测结果(深度学习网络由特征提取器和三个平行的输出头信息组成)；最后，在追踪模块通过泊松多伯努利滤波器(包括两个随机有限集合)来处理检测集合序列，处理完成后提取并输出一个真实目标组的预估序列。本发明相比已有的目标追踪算法的优势在于能够同时对多个目标进行追踪，并且追踪结果更为精确；在数据处理方面，本发明处理效率更高，并且能够处理关联数据甚至是重叠数据。

Description

一种基于泊松多伯努利滤波的三维多目标追踪算法
技术领域
本发明涉及图像处理领域，尤其是涉及了一种基于泊松多伯努利滤波的三维多目标追踪算法。
背景技术
随着计算机技术和视觉图像处理技术的发展，目标追踪技术日渐成为国内外学者热衷研究的一门课题。目标追踪技术主要研究视频图像序列中运动目标的检测、提取、识别和追踪，涉及到机器视觉，图像处理和模式识别等专业领域，有着广阔的应用前景。在人机交互中，目标追踪技术可用于追踪人的姿态、动作、手势等以理解人的意图；在虚拟现实技术中，通过目标追踪技术可对人体动作进行追踪分析以实现在虚拟环境中的3D交互和虚拟角色动作模拟；在医学诊断中，目标追踪技术可用于超声波和核磁序列图像变化的追踪，从而进行内部器官的病情分析；另外，目标追踪技术还广泛应用于无人飞行器、精确制导、空中预警、战场监视、移动机器人和智能视频监控等方面。然而，现有的目标追踪算法存在对数据的处理效率不高，追踪结果不精确等问题。
本发明中提出的一种基于泊松多伯努利滤波的三维多目标追踪算法，先将目标图像用参数特征向量表示出来；然后，运用深度学习网络处理目标图像以输出检测结果(深度学习网络由特征提取器和三个平行的输出头信息组成)；最后，在追踪模块通过泊松多伯努利滤波器(包括两个随机有限集合)来处理检测集合序列，处理完成后提取并输出一个真实目标组的预估序列。本发明相比已有的目标追踪算法的优势在于能够同时对多个目标进行追踪，并且追踪结果更为精确；在数据处理方面，本发明处理效率更高，并且能够处理关联数据甚至是重叠数据。
发明内容
针对现有的目标追踪算法存在对数据的处理效率不高，追踪结果不精确等问题，本发明的目的在于提供一种基于泊松多伯努利滤波的三维多目标追踪算法，先将目标图像用参数特征向量表示出来；然后，运用深度学习网络处理目标图像以输出检测结果(深度学习网络由特征提取器和三个平行的输出头信息组成)；最后，在追踪模块通过泊松多伯努利滤波器(包括两个随机有限集合)来处理检测集合序列，处理完成后提取并输出一个真实目标组的预估序列。
为解决上述问题，本发明提供一种基于泊松多伯努利滤波的三维多目标追踪算法，其主要内容包括：
(一)目标公式化；
(二)目标检测；
(三)目标追踪。
其中，所述的目标公式化，每一个目标都用一个特征向量x来表示，x中包含了目标的相关信息；对于三维的目标，采用以下特征向量来表示：
x＝[x y z vx vy vz w h]T (1)
其中，(x，y，z)表示目标在完全坐标系的三维坐标；(vx，vy，vz)表示x，y，z三个方向的速度；(w，h)表示表示目标在相机图像中边界框的宽度和高度。
其中，所述的目标检测，运用深度学习网络处理目标图像以输出检测结果每一个检测结果z∈Zt由一个2维边界框和一个相机中心与检测目标中心的距离组成：
z＝[xmin ymin xmax ymax d]T (2)
其中，(xmin，ymin)与(xmax，ymax)分别表示边界框左上角和右下角的像素位置；d表示相机中心与检测目标中心的距离。
进一步地，所述的深度学习网络，可被分为两个部分：第一部分被视为特征提取器，第二部由三个平行的输出头信息组成；特征提取器与扩张残差网络相似，区别在于特征提取器去除了最后两个分类层。
进一步地，所述的三个平行的输出头信息，分别是分类评分、边界框和距离；网络中的每一个头信息都有两个1×1卷积层和一个子像素卷积层；分类评分头信息有一个额外的Softmax函数，表示用独热编码为每一个级别评分；边界框头信息有4个输出通道，代表边界框的左上角和右下角；距离头信息有一个输出通道，代表相机中心与检测目标中心的距离。
其中，所述的目标追踪，追踪模块的目的是处理检测集合序列，提取并输出一个真实目标组的预估序列通常使用泊松多伯努利(PMBM)滤波器来达成；在使用PMBM之前，用随机有限集合(RFS)背景和标准点目标模型来对运动的目标以及检测过程建模。
进一步地，所述的RFS背景，主要有两种RFS：泊松点过程和伯努利过程；泊松点过程(PPP)是一种基数为泊松分布，并且所有元素为独立恒等分布的RFS，可用公式D(x)＝μf(x)表示，可用于对目标产生的模拟以及对杂乱目标的测量；伯努利过程是一个与概率r和概率密度函数f(x)有关的RFS，这个过程可以模拟目标的存在概率和状态不确定性。
进一步地，所述的标准点目标模型，主要包括测量模型和标准动态模型；对于测量模型，令为第i个目标在第k个时间步骤时的状态；在时间步骤k，对于给定一个目标集合测量集合为其中表示目标集合从第i个目标中生成测量，是一个指数集合，Kk表示杂乱测量集合；对于标准动态模型，表示检测到的与未检测到的目标在时间步骤从k到k+1存在的概率；目标可根据马可夫过程和高斯过度密度 独立发展，其中b(·)为匀速运动模型。
进一步地，所述的PMBM滤波器，PMBM滤波器是两个RFSs的集合体，用一个PPP来模拟在当前时间步骤现存的目标；目标集合可以被分为两个不相交的子集，其中Xd是检测目标集合，Xu是未检测目标集合；PMBM密度可表达为：
其中，fu(·)为对于未检测目标集合Xu的PPP密度，Du(·)为fu(·)的强度；为多伯努利混合元素的指数；fj，i(·)表示伯努利集合密度。
进一步地，所述的PMBM密度，这是一个多目标追踪共轭先验，其表达式(3)、(4)和(5)可以被相关参数定义：
其中，Du是一个非标准化高斯混合；ωj为在多伯努利混合中每个元素的概率；因此，PMBM滤波器可以通过传播参数集合来传播多目标密度。
附图说明
图1是本发明一种基于泊松多伯努利滤波的三维多目标追踪算法的系统流程图。
图2是本发明一种基于泊松多伯努利滤波的三维多目标追踪算法的检测和追踪过程图。
图3是本发明一种基于泊松多伯努利滤波的三维多目标追踪算法的目标追踪效果图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于泊松多伯努利滤波的三维多目标追踪算法的系统流程图。主要包括目标公式化、目标检测和目标追踪。
目标公式化，每一个目标都用一个特征向量x来表示，x中包含了目标的相关信息；对于三维的目标，采用以下特征向量来表示：
x＝[x y z vx vy vz w h]T (1)
其中，(x，y，z)表示目标在完全坐标系的三维坐标；(vx，vy，vz)表示x，y，z三个方向的速度；(w，h)表示表示目标在相机图像中边界框的宽度和高度。
目标检测，运用深度学习网络处理目标图像以输出检测结果每一个检测结果z∈Zt由一个2维边界框和一个相机中心与检测目标中心的距离组成：
z＝[xmin ymin xmax ymax d]T (2)
其中，(xmin，ymin)与(xmax，ymax)分别表示边界框左上角和右下角的像素位置；d表示相机中心与检测目标中心的距离。
其中，深度学习网络，可被分为两个部分：第一部分被视为特征提取器，第二部由三个平行的输出头信息组成；特征提取器与扩张残差网络相似，区别在于特征提取器去除了最后两个分类层。
其中，三个平行的输出头信息，分别是分类评分、边界框和距离；网络中的每一个头信息都有两个1×1卷积层和一个子像素卷积层；分类评分头信息有一个额外的Softmax函数，表示用独热编码为每一个级别评分；边界框头信息有4个输出通道，代表边界框的左上角和右下角；距离头信息有一个输出通道，代表相机中心与检测目标中心的距离。
目标追踪，追踪模块的目的是处理检测集合序列，提取并输出输出一个真实目标组的预估序列通常使用泊松多伯努利(PMBM)滤波器来达成；在使用PMBM之前，用随机有限集合(RFS)背景和标准点目标模型来对运动的目标以及检测过程建模。
其中，RFS背景，主要有两种RFS：泊松点过程和伯努利过程；泊松点过程(PPP)是一种基数为泊松分布，并且所有元素为独立恒等分布的RFS，可用公式D(x)＝μf(x)表示，可用于对目标产生的模拟以及对杂乱目标的测量；伯努利过程是一个与概率r和概率密度函数f(x)有关的RFS，这个过程可以模拟目标的存在概率和状态不确定性。
其中，标准点目标模型，主要包括测量模型和标准动态模型；对于测量模型，令为第i个目标在第k个时间步骤时的状态；在时间步骤k，对于给定一个目标集合测量集合为其中表示目标集合从第i个目标中生成测量，是一个指数集合，Kk表示杂乱测量集合；对于标准动态模型，表示检测到的与未检测到的目标在时间步骤从k到k+1存在的概率；目标可根据马可夫过程和高斯过度密度独立发展，其中b(·)为匀速运动模型。
其中，PMBM滤波器，是两个RFSs的集合体，用一个PPP来模拟在当前时间步骤现存的目标；目标集合可以被分为两个不相交的子集，其中Xd是检测目标集合，Xu是未检测目标集合；PMBM密度可表达为：
其中PMBM密度，其特征在于，这是一个多目标追踪共轭先验，其表达式(3)、(4)和(5)可以被相关参数定义：
其中，Du是一个非标准化高斯混合；ωj为在多伯努利混合中每个元素的概率；因此，PMBM滤波器可以通过传播参数集合来传播多目标密度。
图2是一种基于泊松多伯努利滤波的三维多目标追踪算法的检测和追踪过程图。此图反映了目标检测和目标追踪的过程。在目标图像用参数特征向量表示出来之后，运用深度学习网络处理目标图像以输出检测结果(深度学习网络由特征提取器和三个平行的输出头信息组成)；然后，在追踪模块通过泊松多伯努利滤波器(包括两个随机有限集合)来处理检测集合序列，处理完成后提取并输出一个真实目标组的预估序列。
图3是本发明一种基于泊松多伯努利滤波的三维多目标追踪算法的目标追踪效果图。三张图像分别为常规目标、密集目标和逆行目标的追踪效果图。本发明相比已有的目标追踪算法的优势在于能够同时对多个目标进行追踪，并且追踪结果更为精确；在数据处理方面，本发明处理效率更高，并且能够处理关联数据甚至是重叠数据。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于泊松多伯努利滤波的三维多目标追踪算法，其特征在于，主要包括目标公式化(一)；目标检测(二)；目标追踪(三)。
2.基于权利要求书1所述的目标公式化(一)，其特征在于，每一个目标都用一个特征向量x来表示，x中包含了目标的相关信息；对于三维的目标，采用以下特征向量来表示：
x＝[x y z vx vy vz w h]T (1)
其中，(x，y，z)表示目标在完全坐标系的三维坐标；(vx，vy，vz)表示x，y，z三个方向的速度；(w，h)表示表示目标在相机图像中边界框的宽度和高度。
3.基于权利要求书1所述的目标检测(二)，其特征在于，运用深度学习网络处理目标图像以输出检测结果每一个检测结果z∈Zt由一个2维边界框和一个相机中心与检测目标中心的距离组成：
z＝[xmin ymin xmax ymax d]T (2)
其中，(xmin，ymin)与(xmax，ymax)分别表示边界框左上角和右下角的像素位置；d表示相机中心与检测目标中心的距离。
4.基于权利要求书3所述的深度学习网络，其特征在于，可被分为两个部分：第一部分被视为特征提取器，第二部由三个平行的输出头信息组成；特征提取器与扩张残差网络相似，区别在于特征提取器去除了最后两个分类层。
5.基于权利要求书4所述的三个平行的输出头信息，其特征在于，分别是分类评分、边界框和距离；网络中的每一个头信息都有两个1×1卷积层和一个子像素卷积层；分类评分头信息有一个额外的Softmax函数，表示用独热编码为每一个级别评分；边界框头信息有4个输出通道，代表边界框的左上角和右下角；距离头信息有一个输出通道，代表相机中心与检测目标中心的距离。
6.基于权利要求书5所述的目标追踪(三)，其特征在于，追踪模块的目的是处理检测集合序列，提取并输出一个真实目标组的预估序列通常使用泊松多伯努利(PMBM)滤波器来达成；在使用PMBM之前，用随机有限集合(RFS)背景和标准点目标模型来对运动的目标以及检测过程建模。
7.基于权利要求6所述的RFS背景，其特征在于，主要有两种RFS：泊松点过程和伯努利过程；泊松点过程(PPP)是一种基数为泊松分布，并且所有元素为独立恒等分布的RFS，可用公式D(x)＝μf(x)表示，可用于对目标产生的模拟以及对杂乱目标的测量；伯努利过程是一个与概率r和概率密度函数f(x)有关的RFS，这个过程可以模拟目标的存在概率和状态不确定性。
8.基于权利要求书6所述的标准点目标模型，其特征在于，主要包括测量模型和标准动态模型；对于测量模型，令为第i个目标在第k个时间步骤时的状态；在时间步骤k，对于给定一个目标集合测量集合为其中表示目标集合从第i个目标中生成测量，是一个指数集合，Kk表示杂乱测量集合；对于标准动态模型，表示检测到的与未检测到的目标在时间步骤从k到k+1存在的概率；目标可根据马可夫过程和高斯过度密度独立发展，其中b(·)为匀速运动模型。
9.基于权利要求书6所述的PMBM滤波器，其特征在于，PMBM滤波器是两个RFSs的集合体，用一个PPP来模拟在当前时间步骤现存的目标；目标集合可以被分为两个不相交的子集，其中Xd是检测目标集合，Xu是未检测目标集合；PMBM密度可表达为：
其中，fu(·)为对于未检测目标集合Xu的PPP密度，Du(·)为fu(·)的强度；为多伯努利混合元素的指数；fj，i(·)表示伯努利集合密度。
10.基于权利要求书9所述的PMBM密度，其特征在于，这是一个多目标追踪共轭先验，其表达式(3)、(4)和(5)可以被相关参数定义：
其中，Du是一个非标准化高斯混合；ωj为在多伯努利混合中每个元素的概率；因此，PMBM滤波器可以通过传播参数集合来传播多目标密度。
CN201810592749.8A 2018-06-11 2018-06-11 一种基于泊松多伯努利滤波的三维多目标追踪算法 Withdrawn CN108876819A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810592749.8A CN108876819A (zh) 2018-06-11 2018-06-11 一种基于泊松多伯努利滤波的三维多目标追踪算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810592749.8A CN108876819A (zh) 2018-06-11 2018-06-11 一种基于泊松多伯努利滤波的三维多目标追踪算法

Publications (1)

Publication Number Publication Date
CN108876819A true CN108876819A (zh) 2018-11-23

Family

ID=64337735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810592749.8A Withdrawn CN108876819A (zh) 2018-06-11 2018-06-11 一种基于泊松多伯努利滤波的三维多目标追踪算法

Country Status (1)

Country Link
CN (1) CN108876819A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084831A (zh) * 2019-04-23 2019-08-02 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN112305915A (zh) * 2020-10-28 2021-02-02 深圳大学 Tsk迭代回归模型的标签多伯努利多目标跟踪方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408594A (zh) * 2016-09-28 2017-02-15 江南大学 基于多伯努利特征协方差的视频多目标跟踪方法
CN106910205A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于随机有限集滤波器耦合的多目标跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408594A (zh) * 2016-09-28 2017-02-15 江南大学 基于多伯努利特征协方差的视频多目标跟踪方法
CN106910205A (zh) * 2017-03-03 2017-06-30 深圳市唯特视科技有限公司 一种基于随机有限集滤波器耦合的多目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAMUEL SCHEIDEGGER: "Mono-Camera 3D Multi-Object Tracking Using Deep Learning Detections and PMBM Filtering", 《ARXIV:1802.09975V1》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084831A (zh) * 2019-04-23 2019-08-02 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN110084831B (zh) * 2019-04-23 2021-08-24 江南大学 基于YOLOv3多伯努利视频多目标检测跟踪方法
CN112305915A (zh) * 2020-10-28 2021-02-02 深圳大学 Tsk迭代回归模型的标签多伯努利多目标跟踪方法及系统

Similar Documents

Publication Publication Date Title
Dhiman et al. Pothole detection using computer vision and learning
CN104268539B (zh) 一种高性能的人脸识别方法及系统
CN109800689A (zh) 一种基于时空特征融合学习的目标跟踪方法
CN107909604A (zh) 基于双目视觉的动态物体运动轨迹识别方法
CN105046710A (zh) 基于深度图分割与代理几何体的虚实碰撞交互方法及装置
CN111046856B (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN108573231B (zh) 基于运动历史点云生成的深度运动图的人体行为识别方法
CN102799646B (zh) 一种面向多视点视频的语义对象分割方法
CN103942535B (zh) 多目标跟踪方法及装置
CN106815578A (zh) 一种基于深度运动图‑尺度不变特征变换的手势识别方法
CN103336967B (zh) 一种手部运动轨迹检测方法及装置
Prisacariu et al. Shared shape spaces
WO2022095514A1 (zh) 图像检测方法、装置、电子设备及存储介质
CN107479693A (zh) 基于rgb信息的实时手部识别方法、存储介质、电子设备
CN106022266A (zh) 一种目标跟踪方法及装置
CN105488541A (zh) 增强现实系统中基于机器学习的自然特征点识别方法
Zhang et al. Deep learning based object distance measurement method for binocular stereo vision blind area
Ma et al. An intelligent object detection and measurement system based on trinocular vision
CN111400423B (zh) 基于多视图几何的智慧城市cim三维车辆位姿建模系统
Guo et al. Gesture recognition of traffic police based on static and dynamic descriptor fusion
CN108876819A (zh) 一种基于泊松多伯努利滤波的三维多目标追踪算法
CN103679172B (zh) 一种通过转动红外探测器检测地面远距离运动目标的方法
CN108564043B (zh) 一种基于时空分布图的人体行为识别方法
Shuai et al. Target recognition and range-measuring method based on binocular stereo vision
CN108108648A (zh) 一种新型的手势识别系统装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181123