CN108830884B - 一种多视觉传感器协同目标跟踪方法 - Google Patents

一种多视觉传感器协同目标跟踪方法 Download PDF

Info

Publication number
CN108830884B
CN108830884B CN201810297331.4A CN201810297331A CN108830884B CN 108830884 B CN108830884 B CN 108830884B CN 201810297331 A CN201810297331 A CN 201810297331A CN 108830884 B CN108830884 B CN 108830884B
Authority
CN
China
Prior art keywords
camera
target
particle
particles
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810297331.4A
Other languages
English (en)
Other versions
CN108830884A (zh
Inventor
刘龙
杨乐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201810297331.4A priority Critical patent/CN108830884B/zh
Publication of CN108830884A publication Critical patent/CN108830884A/zh
Application granted granted Critical
Publication of CN108830884B publication Critical patent/CN108830884B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种多视觉传感器协同目标跟踪方法，具体包括如下步骤：在每个相机中分别选出目标模板，然后对每个相机中的粒子进行状态初始化；对经初始化的粒子进行状态转移，并计算每个相机中粒子所对应目标模板的颜色直方图特征，求出每个相机中的粒子的权值；设相机的个数为M个，对每个相机中的空间粒子权值进行估计计算；计算M个相机中的第v个相机与其它M‑1个相机偏离度；分别对每个相机中的目标位置进行估计，并计算估计的目标位置与目标模板的相似度；根据所得偏离度和所得相似度对每个相机中的目标进行协同跟踪。解决了现有技术中存在的未充分利用相机间及图像采集数据集内的各个图像之间的关联联系使得目标长时跟踪效率低的问题。

Description

一种多视觉传感器协同目标跟踪方法
技术领域
本发明属于机器视觉技术领域，涉及一种多视觉传感器协同目标跟踪方法。
背景技术
目标跟踪是机器视觉领域的经典问题之一。多视觉传感跟踪可利用观测信息的互补性有效避免单一视角严重遮挡造成的目标丢失，提高目标跟踪鲁棒性，另一方面，多视觉传感协同跟踪也是解决大范围、复杂空间目标持续、准确跟踪的有效手段，对于跟踪技术的实际应用具有重要意义。
综上所述，目前多视觉跟踪相关研究仍存在以下问题：基于单应性空间约束的协同跟踪局限性较大，其只能在地平面目标“脚点”建立空间对应关系，而在复杂多场景下“脚点”位置很难获取，从而大大制约了多视觉跟踪应用范围；分布式协同跟踪机制依然是以单一视觉传感跟踪为基础的，没有充分利用多个视觉传感的信息融合提高跟踪的鲁棒性。
发明内容
本发明的目的是提供一种多视觉传感器协同目标跟踪方法，解决了现有技术中存在的未充分利用相机间及图像采集数据集内的各个图像之间的关联联系使得目标长时跟踪效率低的问题。
本发明所采用的技术方案是，一种多视觉传感器协同目标跟踪方法，具体包括如下步骤：
步骤1，在每个相机中分别选出目标模板，然后对每个相机中的粒子进行状态初始化；
步骤2，对经步骤1初始化的粒子进行状态转移，并计算每个相机中粒子所对应目标模板的颜色直方图特征，求出每个相机中的粒子的权值；
步骤3，设相机的个数为M个，对每个相机中的空间粒子权值进行估计计算；
步骤4，计算M个相机中的第v个相机与其它M-1个相机偏离度；
步骤5，分别对每个相机中的目标位置进行估计，并计算估计的目标位置与目标模板的相似度；
步骤6，根据步骤4所得偏离度和步骤5所得相似度对每个相机中的目标进行协同跟踪。
本发明的特点还在于，
步骤2的具体过程如下：
步骤2.1，设每个相机中的粒子状态集合为
Figure GDA0003284181190000021
每个粒子的状态为X(i)，通过如下公式(1)计算每个粒子的颜色直方图特征：
Figure GDA0003284181190000022
其中，目标区域中心的颜色分布为x，目标区域半径为h，目标区域内的第ipix个像素处的颜色分布为
Figure GDA0003284181190000031
n为目标区域内像素的总和，δ(·)为Delta函数；b(xi)是位于xi处的像素在直方图上颜色等级索引的映像；u为直方图中颜色等级索引；k(·)为Epanechnikov核函数，k(·)的定义如下公式(2)所示：
Figure GDA0003284181190000032
步骤2.2，采用Bhattacharyya距离来衡量两个目标颜色分布的近似程度，假设两个目标颜色分布分别为
Figure GDA0003284181190000033
和
Figure GDA0003284181190000034
则颜色观测的似然函数定义如下公式(3)所示：
Figure GDA0003284181190000035
步骤2.3，设每个相机中上一时刻第i个粒子的权值为
Figure GDA0003284181190000036
则t时刻每个相机中的粒子权值如下公式(4)所示：
Figure GDA0003284181190000037
步骤3的具体过程如下：
步骤3.1，推导粒子空间权值计算公式，具体为：
设一个相机的粒子状态集合为
Figure GDA0003284181190000038
观测值为ZT，则T时刻的后验概率密度函数近似为:
Figure GDA0003284181190000039
其中，
Figure GDA00032841811900000310
π(·)为概率密度函数，q(·)为重要性密度函数，N为粒子个数；
根据序贯重要性采样方法，遵循如下两个假设条件：(a)视觉传感之间的观测具有独立性；(b)不同时间的观测值相互独立，观测值只与当前状态相关；
假设视觉目标的状态为x0:t，两个独立观测的视觉传感观测值分别为
Figure GDA0003284181190000041
和
Figure GDA0003284181190000042
则两个视觉传感后验概率p(XT|ZT)可表示为
Figure GDA0003284181190000043
其递推求解推导如下：
Figure GDA0003284181190000044
根据重要性采样定理,粒子权值λ(i)正比
Figure GDA0003284181190000045
依据公式(14)推得如下公式(15)：
Figure GDA0003284181190000051
取重要性采样函数为
Figure GDA0003284181190000052
则
Figure GDA0003284181190000053
其中，公式(16)中，
Figure GDA0003284181190000054
和
Figure GDA0003284181190000055
分别代表在当前两个视觉传感观测下的粒子状态，
Figure GDA0003284181190000056
和
Figure GDA0003284181190000057
的乘积项决定了更新粒子的权值大小，根据公式(16)，设有M个视觉传感，其观测粒子权值
Figure GDA0003284181190000058
由下式决定：
Figure GDA0003284181190000059
其中，
Figure GDA00032841811900000510
表示第i个粒子t时刻的状态，
Figure GDA00032841811900000511
表示t时刻第M个相机的观测值；
步骤3.2，对M个相机的空间粒子权值
Figure GDA00032841811900000512
进行估计；
具体为：假设两个相机，分别记作A和B，设在相机A成像平面中的粒子Pa为空间粒子PA在相机A中的映射，空间粒子PA在相机A中的观测条件概率记作
Figure GDA00032841811900000513
根据对极几何原理，粒子Pa在相机B的成像平面中必对应一条对极极线记作l，记相机B对于空间粒子PA的观测条件概率为
Figure GDA00032841811900000514
由公式(17)推得如下公式(18)：
Figure GDA00032841811900000515
根据对极几何关系，相机A中的粒子点在相机B中对应一条对极线，以对极线为中心拓展的宽度ΔW的带宽范围，将该带宽范围内的当前粒子权值的累加均值作为
Figure GDA00032841811900000516
的近似值，通过如下公式(19)
Figure GDA0003284181190000061
其中，Npix表示落在对极带内的粒子个数；
由公式(19)推得空间粒子PA在相机A中的投影粒子Pa权值递推关系为：
Figure GDA0003284181190000062
由公式(20)推得相机B中的粒子权值的近似递推关系为
Figure GDA0003284181190000063
将公式(21)所得结论推广至M个相机的情况，则M个相机的空间粒子权值的近似计算如下：
Figure GDA0003284181190000064
步骤4的具体过程如下：
根据相机B的对极线lB和相机B中的粒子位置关系判断相机B相对于相机A的偏离度，相机B中的每个粒子{xB,1,xB,2,…,xB,N}与对极线lB的最短距离可以表示为：
dB＝min||xB-lB|| (23)
其中，xB,N表示相机B中第N个粒子；
将位于对极线两侧的粒子相对于对极线的上下位置关系分别赋予正负符号，可以定义相机A在相机B的目标观测偏离度为：
ηAB＝|dB++dB-| (24)；
M个相机中，其中第v个相机与其它M-1个相机偏离度定义如下：
Figure GDA0003284181190000071
步骤5的具体过程如下：
由步骤3.2可知，t时刻每个相机中的粒子的权值为
Figure GDA0003284181190000072
每个相机中的粒子的状态为
Figure GDA0003284181190000073
则每个相机中估计的目标位置为：
Figure GDA0003284181190000074
其中，v＝1,2,3…，M，
Figure GDA0003284181190000075
表示第v个相机中估计的目标的位置信息，设任意一个相机中估计的目标模板的颜色直方图特征为hX，所述步骤1中对应相机中的目标模板的颜色直方图特征
Figure GDA0003284181190000076
则估计的目标模板和对应的目标模板的相似度的计算方法为：
Figure GDA0003284181190000077
步骤6的具体过程如下：
设步骤4中的偏离度阈值为T1、步骤5中的相似度阈值为T2；
在M个相机中，对于任意一个相机中的目标，若步骤4中所得的偏离度大于T1、步骤5中所得的相似度小于T2，且其他M-1个相机中的目标都不满足偏离度大于T1和相似小于T2的条件，此时开始进行如下跟踪过程：
首先通过对极几何分别计算出其他相机中的目标框中心在该相机中的对极线，然后计算出对极线的交点，以该交点为中心，得到与上一帧目标框同大小的目标框，分别计算出该目标框与上一帧目标框模板的相似度及偏离度，如果偏离度大于T1且相似度小于T2，则以该交点作为估计的目标的位置；反之，则以该交点为中心，进行撒粒子，然后进行振荡重采样，然后计算振荡后的每个粒子与遮挡前目标模板的相似度，取相似度最大的粒子作为估计的目标位置；若所有粒子的相似度都小于T2，则以对极线交点作为估计的目标位置，利用估计的目标位置对目标模板的直方图特征进行更新，从而实现多个相机的协同目标跟踪。
本发明有如下有益效果：
(1)空间粒子滤波算法融合了多个相机的目标信息，目标在每个相机中的成像都是一个二维投影，单独使用一个相机的信息势必会造成目标信息的丢死，通过对极几何关系，将目标在每个相机中投影信息进行融合，一定程度弥补了单相机目标描述的不足，提高了短时遮挡目标跟踪的鲁棒性。
(2)当目标被长时遮挡时候，本文通过对极几何关系，提出了利用其他没有被遮挡相机中的目标的位置信息共同定位遮挡目标的位置，然后通过判断确定的位置与遮挡前的目标模板的相似度来重拾目标。
附图说明
图1是本发明一种多视觉传感器协同目标跟踪方法中采用的对极几何原理示意图；
图2(a)、2(b)、2(c)是本发明一种多视觉传感器协同目标跟踪方法中用于计算粒子空间权值的状态示意图；
图3是本发明一种多视觉传感器协同目标跟踪方法用于计算粒子偏离度的状态示意图；
图4是采用本发明一种多视觉传感器协同目标跟踪方法在307、433、478相机帧数下的测试结果图；
图5是采用本发明一种多视觉传感器协同目标跟踪方法在1059、1432、468、1539相机帧数下的测试结果图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种多视觉传感器协同目标跟踪方法，首先利用对极几何关系，提出了空间粒子滤波的方法，来融合多相机的目标信息对单相机中的目标进行表示；当目标被长时遮挡时候，通过对极几何关系，利用没有遮挡相机的目标的位置信息来定位遮挡相机中目标，然后通过判断确定的目标位置与遮挡前的目标模板的相似度重拾目标，
具体按照以下步骤实施：
步骤1，在每个相机中分别选出目标(必须是相同的目标)模板，然后对每个相机中的粒子进行状态初始化；
步骤2，对经步骤1初始化的粒子进行状态转移，并计算每个相机中粒子所对应目标模板的颜色直方图特征，求出每个相机中的粒子的权值；
具体过程如下：
步骤2.1，设每个相机中的粒子状态集合为
Figure GDA0003284181190000091
(其中i指代粒子，N表示粒子个数)每个粒子的状态为X(i)，本发明中的颜色直方图特征只考虑目标区域内的颜色分布情况。每个粒子的颜色直方图计算如公式(1)所示：
Figure GDA0003284181190000101
其中，目标区域中心的颜色分布为x，目标区域半径为h，目标区域内的第ipix个像素处的颜色分布为
Figure GDA0003284181190000102
n为目标区域内像素的总和，δ(·)为Delta函数；b(xi)是位于xi处的像素在直方图上颜色等级索引的映像；u为直方图中颜色等级索引；k(·)为Epanechnikov核函数:
定义如下公式(2)所示：
Figure GDA0003284181190000103
步骤2.2，采用Bhattacharyya距离来衡量两个目标颜色分布的近似程度，假设两个目标颜色分布分别为
Figure GDA0003284181190000104
和
Figure GDA0003284181190000105
则颜色观测的似然函数定义如下公式(3)所示：
Figure GDA0003284181190000106
步骤2.3，设每个相机中上一时刻第i个粒子的权值为
Figure GDA0003284181190000107
则t时刻每个相机中的粒子权值如下公式(4)所示：
Figure GDA0003284181190000108
步骤3，对每个相机中的空间粒子权值进行估计计算；
每个相机中的粒子的空间权值估算方法相同。以相机1的计算方法为例，在步骤1中相机1中每个粒子的状态的基础上，分别计算其他相机中的所有粒子落在，以相机1中目标的目标框的高度为宽，以相机1中每个粒子的对极线为中心的对极带内的所有粒子的个数，并计算这些例子的权值均值，然后得到相机1中每个粒子的空间权值。其他相机的粒子的空间权值估算方法类似；
步骤3的具体过程为：
步骤3.1，推导粒子空间权值计算公式，具体为：
设一个相机的粒子状态集合为
Figure GDA0003284181190000111
观测值为ZT，则T时刻的后验概率密度函数近似为:
Figure GDA0003284181190000112
其中，
Figure GDA0003284181190000113
π(·)为概率密度函数，q(·)为重要性密度函数，N为粒子个数；
根据序贯重要性采样方法，当前粒子权值与上一时刻粒子权值呈现递推关系，步骤3.1中分析将从两个视觉传感的后验概率分析出发推导该递推关系，并从两个视觉传感的后验概率分析推广到N个视觉传感的情况；推导将遵循以下假设条件：(a)视觉传感之间的观测具有独立性；(b)不同时间的观测值相互独立，观测值只与当前状态相关，假设视觉目标的状态为x0:t，两个独立观测的视觉传感观测值分别为
Figure GDA0003284181190000114
和
Figure GDA0003284181190000115
(
Figure GDA0003284181190000116
表示相机1在1到t时刻的观测值；
Figure GDA0003284181190000117
表示相机2在1到t时刻的观测值)则两个视觉传感后验概率p(XT|ZT)可表示为
Figure GDA0003284181190000118
其递推求解推导如下：
Figure GDA0003284181190000119
Figure GDA0003284181190000121
根据假设条件(a)和(b)，在推导步骤作了如下简化：
1)从式(6)到式(7)推导步骤中做了简化
Figure GDA0003284181190000122
2)从式(10)到式(11)推导步骤里简化
Figure GDA0003284181190000123
3)式(12)的分母，密度
Figure GDA0003284181190000124
和
Figure GDA0003284181190000125
与xt无关，可以认为常量kt；
4)式(13)中简化
Figure GDA0003284181190000126
5)式(14)中简化
Figure GDA0003284181190000127
根据重要性采样定理,粒子权值λ(i)正比
Figure GDA0003284181190000128
依据公式(14)推得如下公式(15)：
Figure GDA0003284181190000131
取重要性采样函数为
Figure GDA0003284181190000132
则
Figure GDA0003284181190000133
其中，公式(16)中，
Figure GDA0003284181190000134
和
Figure GDA0003284181190000135
分别代表在当前两个视觉传感观测下的粒子状态，
Figure GDA0003284181190000136
和
Figure GDA0003284181190000137
的乘积项决定了更新粒子的权值大小，根据公式(16)，设有M个相机(即有M个视觉传感)，其观测粒子权值
Figure GDA0003284181190000138
由下式决定：
Figure GDA0003284181190000139
其中
Figure GDA00032841811900001310
表示第i个粒子t时刻的状态，
Figure GDA00032841811900001311
表示t时刻第M个相机的观测值。
步骤3.2，对M个相机的空间粒子权值
Figure GDA00032841811900001312
进行估计；
具体为：假设两个相机(视觉传感)，分别记作A和B，设在相机A成像平面中的粒子Pa为空间粒子PA在相机A中的映射，如图2所示(图2(a)表示相机A中的粒子；图2(b)表示相机A中的三角形粒子在相机B中的对极线；图2(c)表示对极带示意图)，空间粒子PA在相机A中的观测条件概率记作
Figure GDA00032841811900001313
根据对极几何原理(对极几何原理如图1所示)，粒子Pa在相机B的成像平面中必对应一条对极极线记作l，如图1所示，记相机B对于空间粒子PA的观测条件概率为
Figure GDA00032841811900001314
由公式(17)推得如下公式(18)：
Figure GDA00032841811900001315
Figure GDA0003284181190000141
的估算：根据对极几何关系，相机A中的粒子点在相机B中对应一条对极线，如图2所示，本发明中采用一种近似计算的方法计算
Figure GDA0003284181190000142
首先，以对极线为中心拓展的宽度ΔW(ΔW的取值一般为相机A中目标框高度的2/3)的带宽范围，如图2(c)所示，将该带宽范围内的当前粒子权值的累加均值作为
Figure GDA0003284181190000143
的近似值，即：
Figure GDA0003284181190000144
其中，Npix表示落在对极带内的粒子个数；
由公式(19)推得空间粒子PA在相机A中的投影粒子Pa权值递推关系为：
Figure GDA0003284181190000145
由公式(20)推得相机B中的粒子权值的近似递推关系为
Figure GDA0003284181190000146
将公式(21)所得结论推广至M个相机(视觉传感)的情况，则M个相机的空间粒子权值的近似计算如下：
Figure GDA0003284181190000147
步骤4：设相机的个数为M个，计算M个相机中的第v个相机与其它M-1个相机偏离度；
如图3所示，根据相机B的对极线lB和相机B中的粒子位置关系判断相机B相对于相机A的偏离度，图3中相机B中的每个粒子{xB,1,xB,2,…,xB,N}用圆圈表示，相机B中的所有粒子与对极线lB的最短距离可以表示为：
dB＝min||xB-lB|| (23)；
其中，xB,N表示相机B中第N个粒子；
将位于对极线两侧的粒子相对于对极线的上下位置关系分别赋予正负符号，可以定义相机A在相机B的目标观测偏离度为：
ηAB＝|dB++dB-| (24)；
M个相机中，其中第v个相机与其它M-1个相机偏离度定义如下：
Figure GDA0003284181190000151
其中：式(23)中的dB表示相机B中粒子距离对极线的距离，lB表示相机B的对极线的方程，xB表示相机B中的粒子，式(24)中的dB+表示粒子与对极线的距离，且粒子在对极线的上方，dB-表示粒子与对极线的距离，且粒子在对极线的下方，式(25)中的ηvh表示第v个相机在第h个相机中的偏离度。
步骤5：分别对每个相机中的目标位置进行估计，并计算估计的目标位置与目标模板的相似度；
在步骤3.2中，t时刻每个相机中的粒子的权值为
Figure GDA0003284181190000152
每个相机中的粒子的状态为
Figure GDA0003284181190000153
则每个相机中估计的目标位置为：
Figure GDA0003284181190000154
其中，v＝1,2,3…，M，表示视觉传感的个数，
Figure GDA0003284181190000155
表示第v个相机中估计的目标的位置信息；根据公式(1)，设任意一个相机中估计的目标模板的颜色直方图特征为hX，步骤1中对应相机中的目标模板的颜色直方图特征
Figure GDA0003284181190000161
(hX和
Figure GDA0003284181190000162
为向量)，则估计的目标模板和对应的目标模板的相似度的计算方法为：
Figure GDA0003284181190000163
步骤6，对每个相机中的目标进行协同跟踪；
具体处理过程如下：对于任意一个相机中的目标，若步骤4中的偏离度大于T1(T1一般根据待处理视频序列的分辨率大小进行调整)，步骤5中的相似度小于T2(T2一般取值大于等于0.6)，且其他M-1个相机中的目标都不满足上述偏离度和相似度的条件，具体的跟踪过程如下：
首先通过对极几何分别计算出其他相机中的目标框中心在该相机中的对极线，然后计算出对极线的交点，以该交点为中心，得到与上一帧目标框同大小的目标框，分别计算出该目标框与上一帧目标框模板的相似度及偏离度，如果偏离度大于T1且相似度小于T2，则以该交点作为估计的目标的位置；若不满足偏离度大于T1且相似度小于T2的情况，则以该交点为中心，进行撒粒子，然后进行振荡重采样，一般振荡7-9次，然后计算振荡后的每个粒子与遮挡前目标模板的相似度，取相似度最大的粒子作为估计的目标位置；若所有粒子的相似度都小于T2，则以对极线交点作为估计的目标位置，利用估计的目标位置对目标模板的直方图特征进行更新，从而实现多个相机的协同目标跟踪。
将步骤6中重新估计的每个相机的目标位置和更新后的目标模板的颜色直方图特征作为当前时刻的状态信息，并返回至步骤2，循环对各个相机中的目标进行协同跟踪，直至各相机中的视频序列的图像全部跟踪完毕，从而实现多个相机之间的运动目标的协同跟踪。
本发明一种多视觉传感器协同目标跟踪方法的实施结果：
图4和图5均为目标被长时遮挡又重新出现的情况下采用本发明一种多视觉传感器协同目标跟踪方法进行跟踪的跟踪结果，可以看出本发明提出的跟踪方法准确跟踪了目标。图4中从左至右依次为相机1、2、3，从上至下为帧数，依次为307、433、478帧。图5中从左至右依次为相机1、2、3，从上至下依次为第1059,1432,468,1539帧。

Claims (5)

1.一种多视觉传感器协同目标跟踪方法，其特征在于：具体包括如下步骤：
步骤1，在每个相机中分别选出目标模板，然后对每个相机中的粒子进行状态初始化；
步骤2，对经步骤1初始化的粒子进行状态转移，并计算每个相机中粒子所对应目标模板的颜色直方图特征，求出每个相机中的粒子的权值；
步骤3，设相机的个数为M个，对每个相机中的空间粒子权值进行估计计算；
步骤4：计算M个相机中的第v个相机与其它M-1个相机偏离度；所述步骤4的具体过程如下：
根据相机B的对极线lB和相机B中的粒子位置关系判断相机B相对于相机A的偏离度，相机B中的每个粒子{xB,1,xB,2,…,xB,N}与对极线lB的最短距离可以表示为：
dB＝min||xB-lB|| (1)；
其中，xB,N表示相机B中第N个粒子；
将位于对极线两侧的粒子相对于对极线的上下位置关系分别赋予正负符号，可以定义相机A在相机B的目标观测偏离度为：
ηAB＝|dB++dB-| (2)；
M个相机中，其中第v个相机与其它M-1个相机偏离度定义如下：
Figure FDA0003299877410000021
步骤5，分别对每个相机中的目标位置进行估计，并计算估计的目标位置与目标模板的相似度；
步骤6，根据步骤4所得偏离度和步骤5所得相似度对每个相机中的目标进行协同跟踪。
2.根据权利要求1所述的一种多视觉传感器协同目标跟踪方法，其特征在于：所述步骤2的具体过程如下：
步骤2.1，设每个相机中的粒子状态集合为
Figure FDA0003299877410000022
每个粒子的状态为X(i)，通过如下公式(4)计算每个粒子的颜色直方图特征：
Figure FDA0003299877410000023
其中，目标区域中心的颜色分布为x，目标区域半径为h，目标区域内的第ipix个像素处的颜色分布为
Figure FDA0003299877410000024
n为目标区域内像素的总和，d(·)为Delta函数；
Figure FDA0003299877410000025
是位于
Figure FDA0003299877410000026
处的像素在直方图上颜色等级索引的映像；u为直方图中颜色等级索引；k(·)为Epanechnikov核函数，k(·)的定义如下公式(5)所示：
Figure FDA0003299877410000027
步骤2.2，采用Bhattacharyya距离来衡量两个目标颜色分布的近似程度，假设两个目标颜色分布分别为
Figure FDA0003299877410000028
和
Figure FDA0003299877410000029
则颜色观测的似然函数定义如下公式(6)所示：
Figure FDA0003299877410000031
步骤2.3，设每个相机中上一时刻第i个粒子的权值为
Figure FDA0003299877410000032
则t时刻每个相机中的粒子权值如下公式(7)所示：
Figure FDA0003299877410000033
3.根据权利要求2所述的一种多视觉传感器协同目标跟踪方法，其特征在于：所述步骤3的具体过程如下：
步骤3.1，推导粒子空间权值计算公式，具体为：
设一个相机的粒子状态集合为
Figure FDA0003299877410000034
观测值为ZT，则T时刻的后验概率密度函数近似为:
Figure FDA0003299877410000035
其中，
Figure FDA0003299877410000036
为概率密度函数，q(·)为重要性密度函数，N为粒子个数；
根据序贯重要性采样方法，遵循如下两个假设条件：(a)视觉传感之间的观测具有独立性；(b)不同时间的观测值相互独立，观测值只与当前状态相关；
假设视觉目标的状态为x0:t，两个独立观测的视觉传感观测值分别为
Figure FDA0003299877410000037
和
Figure FDA0003299877410000038
则两个视觉传感后验概率p(XT|ZT)可表示为
Figure FDA0003299877410000039
其递推求解推导如下：
Figure FDA00032998774100000310
Figure FDA0003299877410000041
Figure FDA0003299877410000042
Figure FDA0003299877410000043
Figure FDA0003299877410000044
Figure FDA0003299877410000045
Figure FDA0003299877410000046
Figure FDA0003299877410000047
Figure FDA0003299877410000048
根据重要性采样定理,粒子权值λ(i)正比
Figure FDA0003299877410000049
依据公式(17)推得如下公式(18)：
Figure FDA00032998774100000410
取重要性采样函数为
Figure FDA00032998774100000411
则
Figure FDA00032998774100000412
其中，公式(19)中，
Figure FDA00032998774100000413
和
Figure FDA00032998774100000414
分别代表在当前两个视觉传感观测下的粒子状态，
Figure FDA00032998774100000415
和
Figure FDA00032998774100000416
的乘积项决定了更新粒子的权值大小，根据公式(19)，设有M个视觉传感，其观测粒子权值
Figure FDA00032998774100000417
由下式决定：
Figure FDA0003299877410000051
其中，
Figure FDA0003299877410000052
表示第i个粒子t时刻的状态，
Figure FDA0003299877410000053
表示t时刻第M个相机的观测值；
步骤3.2，对M个相机的空间粒子权值
Figure FDA0003299877410000054
进行估计；
具体为：假设两个相机，分别记作A和B，设在相机A成像平面中的粒子Pa为空间粒子PA在相机A中的映射，空间粒子PA在相机A中的观测条件概率记作
Figure FDA0003299877410000055
根据对极几何原理，粒子Pa在相机B的成像平面中必对应一条对极极线记作l，记相机B对于空间粒子PA的观测条件概率为
Figure FDA0003299877410000056
由公式(20)推得如下公式(21)：
Figure FDA0003299877410000057
根据对极几何关系，相机A中的粒子点在相机B中对应一条对极线，以对极线为中心拓展的宽度ΔW的带宽范围，将该带宽范围内的当前粒子权值的累加均值作为
Figure FDA0003299877410000058
的近似值，通过如下公式(22)
Figure FDA0003299877410000059
其中，Npix表示落在对极带内的粒子个数；
由公式(22)推得空间粒子PA在相机A中的投影粒子Pa权值递推关系为：
Figure FDA00032998774100000510
由公式(23)推得相机B中的粒子权值的近似递推关系为
Figure FDA0003299877410000061
将公式(24)所得结论推广至M个相机的情况，则M个相机的空间粒子权值的近似计算如下：
Figure FDA0003299877410000062
4.根据权利要求1所述的一种多视觉传感器协同目标跟踪方法，其特征在于：所述步骤5的具体过程如下：
由步骤3.2可知，t时刻每个相机中的粒子的权值为
Figure FDA0003299877410000063
每个相机中的粒子的状态为
Figure FDA0003299877410000064
则每个相机中估计的目标位置为：
Figure FDA0003299877410000065
其中，v＝1,2,3…，M，
Figure FDA0003299877410000066
表示第v个相机中估计的目标的位置信息，设任意一个相机中估计的目标模板的颜色直方图特征为hX，所述步骤1中对应相机中的目标模板的颜色直方图特征
Figure FDA0003299877410000067
则估计的目标模板和对应的目标模板的相似度的计算方法为：
Figure FDA0003299877410000068
5.根据权利要求4所述的一种多视觉传感器协同目标跟踪方法，其特征在于：所述步骤6的具体过程如下：
设步骤4中的偏离度阈值为T1、步骤5中的相似度阈值为T2；
在M个相机中，对于任意一个相机中的目标，若步骤4中所得的偏离度大于T1、步骤5中所得的相似度小于T2，且其他M-1个相机中的目标都不满足偏离度大于T1和相似小于T2的条件，此时开始进行如下跟踪过程：
首先通过对极几何分别计算出其他相机中的目标框中心在该相机中的对极线，然后计算出对极线的交点，以该交点为中心，得到与上一帧目标框同大小的目标框，分别计算出该目标框与上一帧目标框模板的相似度及偏离度，如果偏离度大于T1且相似度小于T2，则以该交点作为估计的目标的位置；反之，则以该交点为中心，进行撒粒子，然后进行振荡重采样，然后计算振荡后的每个粒子与遮挡前目标模板的相似度，取相似度最大的粒子作为估计的目标位置；若所有粒子的相似度都小于T2，则以对极线交点作为估计的目标位置，利用估计的目标位置对目标模板的直方图特征进行更新，从而实现多个相机的协同目标跟踪。
CN201810297331.4A 2018-04-04 2018-04-04 一种多视觉传感器协同目标跟踪方法 Expired - Fee Related CN108830884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810297331.4A CN108830884B (zh) 2018-04-04 2018-04-04 一种多视觉传感器协同目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810297331.4A CN108830884B (zh) 2018-04-04 2018-04-04 一种多视觉传感器协同目标跟踪方法

Publications (2)

Publication Number Publication Date
CN108830884A CN108830884A (zh) 2018-11-16
CN108830884B true CN108830884B (zh) 2021-12-17

Family

ID=64154452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810297331.4A Expired - Fee Related CN108830884B (zh) 2018-04-04 2018-04-04 一种多视觉传感器协同目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108830884B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113194259B (zh) * 2021-05-07 2023-05-23 中山大学 一种基于多相机阵列的协同指向控制方法、系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739690A (zh) * 2009-11-26 2010-06-16 西北工业大学 多相机协同运动目标检测方法
CN104899894A (zh) * 2014-03-05 2015-09-09 南京理工大学 一种采用多台摄像机进行运动目标跟踪的方法
WO2017047688A1 (ja) * 2015-09-17 2017-03-23 株式会社日立国際電気 落下物検知追跡システム
CN107038714A (zh) * 2017-04-17 2017-08-11 西安理工大学 多型视觉传感协同目标跟踪方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739690A (zh) * 2009-11-26 2010-06-16 西北工业大学 多相机协同运动目标检测方法
CN104899894A (zh) * 2014-03-05 2015-09-09 南京理工大学 一种采用多台摄像机进行运动目标跟踪的方法
WO2017047688A1 (ja) * 2015-09-17 2017-03-23 株式会社日立国際電気 落下物検知追跡システム
CN107038714A (zh) * 2017-04-17 2017-08-11 西安理工大学 多型视觉传感协同目标跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《大视场双目主动视觉传感器的协同跟踪方法》;崔智高 等;《光电子激光》;20140430;第25卷(第4期);全文 *
《面向运动目标检测的粒子滤波视觉注意力模型》;刘龙 等;《电子学报》;20160930;第44卷(第9期);全文 *

Also Published As

Publication number Publication date
CN108830884A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
US11288818B2 (en) Methods, systems, and computer readable media for estimation of optical flow, depth, and egomotion using neural network trained using event-based learning
Loo et al. CNN-SVO: Improving the mapping in semi-direct visual odometry using single-image depth prediction
CN108986037B (zh) 基于半直接法的单目视觉里程计定位方法及定位系统
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
EP2858008B1 (en) Target detecting method and system
EP1879149B1 (en) method and apparatus for tracking a number of objects or object parts in image sequences
CN110796010B (zh) 一种结合光流法和卡尔曼滤波的视频稳像方法
CN104820996B (zh) 一种基于视频的自适应分块的目标跟踪方法
CN106846359A (zh) 基于视频序列的运动目标快速检测方法
JP2018522348A (ja) センサーの３次元姿勢を推定する方法及びシステム
US9767568B2 (en) Image processor, image processing method, and computer program
US8615107B2 (en) Method and apparatus for multiple object tracking with K-shortest paths
US10896495B2 (en) Method for detecting and tracking target object, target object tracking apparatus, and computer-program product
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
WO2008020598A1 (fr) Dispositif et procédé de détection d'un nombre d'objets
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN111144213A (zh) 一种对象检测方法和相关设备
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN104331907B (zh) 一种基于orb特征检测测量载体速度的方法
WO2020120782A1 (en) Method of tracking objects in a scene
CN112541938A (zh) 一种行人速度测量方法、系统、介质及计算设备
Hayakawa et al. Ego-motion and surrounding vehicle state estimation using a monocular camera
CN113221739B (zh) 基于单目视觉的车距测量方法
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
CN108830884B (zh) 一种多视觉传感器协同目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211217