CN107038714A - 多型视觉传感协同目标跟踪方法 - Google Patents
多型视觉传感协同目标跟踪方法 Download PDFInfo
- Publication number
- CN107038714A CN107038714A CN201710247379.XA CN201710247379A CN107038714A CN 107038714 A CN107038714 A CN 107038714A CN 201710247379 A CN201710247379 A CN 201710247379A CN 107038714 A CN107038714 A CN 107038714A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- collaboration
- formula
- particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 title claims abstract description 30
- 230000002195 synergetic effect Effects 0.000 title claims abstract description 17
- 239000002245 particle Substances 0.000 claims abstract description 52
- 230000002045 lasting effect Effects 0.000 claims abstract description 7
- 230000007246 mechanism Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Image Analysis (AREA)
Abstract
多型视觉传感协同目标跟踪方法，具体包括以下步骤：步骤1，利用传统摄像机C1和全景摄像机C2跟踪相同的目标，在C1和C2中分别采用粒子滤波方法预估计下一时刻的目标状态。步骤2，建立C1和C2之间的对极几何关系；步骤3，建立协同开关模型，根据目标在C1和C2的视野中的位置，判断是否启动协同跟踪模式；步骤4，在协同跟踪模式中，启动协同机制，根据对极几何关系对被遮挡目标的状态进行校正与更新；步骤5，将步骤4处理后的目标状态作为目标当前时刻状态，返回步骤2，实现C1和C2之间运动目标的持续协同跟踪。本发明解决了多个摄像机之间协同跟踪有效区域狭小的问题，实现了对运动目标的持续协同跟踪。
Description
技术领域
本发明属于视频图像跟踪技术领域，涉及一种多型视觉传感协同目标跟踪方法。
背景技术
随着科技的发展和社会的进步，人们对安全的要求也不断提高，在国防军事，交通管理，行为分析等方面各式各样的视觉传感监控系统有着巨大的应用前景，在这些应用中需要观测的场景的范围非常大，单个视觉传感器已经无法覆盖，这时就需要多个视觉传感来实现大范围的观测工作。
对于多摄像机的目标跟踪来说，目标匹配是其中的关键技术，目标匹配的依据分为以下两种：(1)自身特征的一致性，主要是根据目标的颜色、形状等信息进行目标匹配，但由于不同的摄像机的视角不同、场景光照的不同，观测到的这类特征存在着较大的差异，虽然学者们提出亮度转移函数能够在一定程度上减小亮度带来的影响，但是可靠性较低；(2)摄像机几何约束，通过对单个摄像机的标定或多个摄像机间关系的确定，来定位目标的空间位置，它的匹配度比其他目标匹配方法在有重叠区域的情况下要高。
几何约束中常用的方法有单应性和对极几何，单应性描述的是同一个平面上的点，在两幅视图上的像点之间存在一一对应的映射关系，单应性可以准确的定位到目标在图像中的坐标位置，但必须满足目标运动在同一个平面的这一假设条件，此外常会遇到计算量大，无法有效解决遮挡等问题。对极几何描述的是两幅视图之间的几何映射关系，本质上就是对极平面与两图像平面相交的几何对应关系，对极几何能够表示不同视角下的相机图像的对应关系，由于这种关系是普遍存在的，通过对极几何我们将一幅图像上的点在另一张图像上投影出来一条直线，能够将搜索范围降低至一维搜索。
上述协同跟踪方法都是建立在传统摄像机基础上的，由于单个传统摄像机视野范围的限制，多个传统摄像机间的重叠区域有限，有效协同区域狭小；目前还存在多个全景摄像机协同跟踪，但同样难解决协同跟踪有效区域狭小，而且成本过高。
发明内容
本发明的目的是提供一种多型视觉传感协同目标跟踪方法，解决了多摄像机之间协同跟踪有效区域狭小的问题，实现了对运动目标的持续协同跟踪。
本发明所采用的技术方案是，多型视觉传感协同目标跟踪方法，具体包括以下步骤：
步骤1，利用传统摄像机C1和全景摄像机C2跟踪相同的目标，在C1和C2中分别采用粒子滤波方法预估计下一时刻的目标状态。
步骤2，建立C1和C2之间的对极几何关系；
步骤3，建立协同开关模型，根据目标在C1和C2的视野中的位置，判断是否启动协同跟踪模式；
步骤4，在协同跟踪模式中，启动协同机制，根据对极几何关系对被遮挡目标的状态进行校正与更新；
步骤5，将步骤4处理后的目标状态作为目标当前时刻状态，返回步骤2，实现C1和C2之间运动目标的持续协同跟踪。
步骤1的具体步骤为：
选取同一时刻C1和C2对目标拍摄出的两个画面，记为图像A和图像B；
在C1中，假设粒子在t时刻的状态满足：其中，为重要性密度函数；
粒子局部观测似然权重初始化为：其中，为局部观测似然概率；
预估计图像A中下一时刻的目标状态为：
同理，中C2，预估计图像B中下一时刻的目标状态为：
其中，i为目标编号，i>1；n为目标i中采样粒子编号；Np是图像A中所有粒子数；x表示目标的状态；z表示目标的观测信息；表示图像A中目标i在t时刻的状态；表示图像A中目标i到t-1时刻所有的状态；表示图像A中目标i在t时刻的观测信息；表示图像A中目标i到t时刻所有的观测信息；表示图像B中目标i在t时刻的状态；表示图像B中目标i到t时刻所有的观测信息；表示图像B中目标i到t-1时刻所有的状态。
步骤2的具体过程为：
在C2中存在双曲面镜坐标系Cm和全景摄像机坐标系CO，C1和C2构成多型视觉对极几何系统，其中增加了传统摄像机坐标系Cp；
双曲面镜的方程为：
式中，a、b和c为双曲面的参数，满足a2+b2＝c2；
设全景摄像机坐标系CO内一点Xo的坐标为[xo,yo,zo]T,若在双曲面镜坐标系Cm中表示，则需要一个平移变化：
式中，[xm,ym,zm]T为Xo在双曲面镜坐标系Cm中的坐标；
设[qu,qv]T为Xo在图像B中的坐标，则：
式中，q＝[qu,qv，1]T表示[qu,qv]T的齐次坐标，Ko为C2的内部参数，通过标定得到；
连接C1的投影中心Op和C2的投影中心Om得到基线，基线与图像A交于极点ep，基线与双曲面镜交于em，em在图像B中投影为极点eo，mp为目标X在图像A中的投影，mo为目标X在图像B中的投影，由X、Op和Om确定外极平面，mp、mm、Op、Om位于外极平面上；
设R和T分别为Cp和Cm之间的旋转矩阵和平移矩阵，在多型视觉对极几何系统中存在本质矩阵E＝SR，其中：
S为T中平移向量的斜对称矩阵，平移向量为[tx,ty,tz]T；
目标X在传统摄像机坐标系Cp和双曲面镜坐标系Cm下的坐标分别为Xp和Xm，则：
设[up,vp]T为目标X在图像A上投影点的坐标，那么：
Kp为C1的内部参数矩阵，[up,vp,1]T为[up,vp]T的齐次坐标；
定义外极平面的法向量n＝[p,q,s]T，在多型视觉对极几何系统中有：
.n＝E×XP (9)
设Pm＝[xm,ym,zm]T为外极平面和双曲面镜的交线L上一点XL的坐标，可得：
pxm+qym+szm＝0 (10)
联立式(3)和式(10)，得到交线L的方程：
交线L用矩阵乘法表示为：
将Pm从双曲面镜坐标系Cm变换至全景摄像机坐标系Co上：
将点XL投影到图像B上：
联立(12)～(14)式，得到目标在图像B上的极线方程lo：
其中，
由X，mp，mm三点共面，点mp落在直线lp上，联立式(7)和式(8)，得到目标在图像A上的极线为lp：
步骤3中，建立协同开关模型的具体过程为：
C1和C2的跟踪区域能够分为三个部分：区域1、区域2和区域3；
目标位于区域2时，只有C1的观测信息有效，C1单独跟踪目标，目标的后验概率为：
t时刻，采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入式(1)，对图像A中目标下一时刻的状态进行更新；
同理，目标位于区域3时，只有C2的观测信息有效，使C2单独跟踪目标，t时刻，采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入式(2)，对图像B中目标下一时刻的状态进行更新；
目标位于区域1时，C1和C2的观测信息同时有效，目标的后验概率为：
其中，表示局部观测似然概率，表示状态转移概率，表示协同似然概率；Kt表示常数，表示图像A中目标i到t时刻所有的状态；表示图像A中目标i到t-1时刻所有的观测信息；表示图像B中目标i到t-1时刻所有的观测信息。
步骤3中，判断是否启动协同跟踪模式的具体过程为：
若直接启动协同跟踪模式；若按下式判断：
其中，Υ是局部似然阈值，T是协同似然阈值；
对应C1，选择采样的粒子满足重要性密度函数则采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入式(1)，对图像A中目标下一时刻的状态进行更新；
同理，对于C2，采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入式(2)，对图像B中目标下一时刻的状态进行更新。
步骤4的具体步骤为：
步骤4.1，设跟踪的目标中包含目标i和目标j，目标i和目标j在C1中的观测信息分别为目标i和目标j在C2中的观测信息分别为和
在C1的视野中，当目标j遮挡目标i时，根据目标i在图像B中的对极曲线校正图像A中目标i下一时刻的位置：
计算图像A中目标i下一时刻的协同权重：
式中，Np是图像A中的粒子数；为图像A中目标i的每个粒子与其对应的图像B中的对极曲线的最短距离，δ(·)是狄拉克函数：
为目标i在C2中的观测信息；为图像A中的目标i在C2中的对极曲线；是宽带的方差；∑φB是宽带的标准差；
将图像A中目标i下一时刻的协同权重带入式(23)，对图像A中目标下一时刻的状态进行更新；
在图像B中，当目标j遮挡目标i时，根据目标i在图像A中的对极曲线校正图像B中目标i下一时刻的位置：
计算图像B中目标i下一时刻的协同权重：
式中，Np'是图像B中的粒子数；为图像B中目标i的每个粒子与其对应的图像A中的对极曲线的最短距离，δ(·)是狄拉克函数：
为在目标i在C1中的观测信息；为图像B中目标i在C1中的对极曲线；是宽带的方差；∑φA是宽带的标准方差；
将图像B中目标i下一时刻的协同权重带入式(24)，对图像B中目标下一时刻的状态进行更新。
本发明的有益效果是：
1)采用传统摄像机和中心折反射全景摄像机构成多型视觉系统，一方面能够扩大摄像机视野范围，克服了普通摄像机视野狭小的缺点，另一方面可以减少均采用全景摄像机所需要的成本；
2)采用粒子滤波方法预估目标的状态，用粒子分布状态表示目标可能的分布，提高目标在面对非线性问题情况下的鲁棒性；定义了一种新颖的后验概率计算，增加了粒子后验概率包含的信息内容，使后验概率更加可信；
3)在贝叶斯理论框架下，构建协同跟踪机制，在每个摄像机视野中，如果目标相互分离，不需要启动协同即可有效的跟踪目标；当目标相挨很近或存在遮挡时，判断是否启动协同跟踪，减少了计算量；
4)建立多型视觉对极几何系统，采用对极几何的方法建立目标一致性判断方法进行目标匹配，克服了目标在不同摄像机下颜色、亮度、形状变化而无法匹配的缺点，减少目标匹配时的搜索范围。
附图说明
图1是本发明的系统框图；
图2是全景摄像机的成像示意图；
图3是多型视觉对极几何系统的示意图；
图4是多型视觉系统对极线验证图；
图5是协同跟踪区域示意图；
图6是协同权重计算示意图，(a)是C1视野中粒子权重计算示意图,(b)是C2视野中粒子权重计算示意图；
图7，图8是协同跟踪结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明：
如图1所示，多型视觉传感协同目标跟踪方法，具体包括以下步骤：
步骤1，利用传统摄像机C1和全景摄像机C2跟踪相同的目标，在C1和C2中分别采用粒子滤波方法预估计下一时刻的目标状态。
步骤2，建立C1和C2之间的对极几何关系；
步骤3，建立协同开关模型，根据目标在C1和C2的视野中的位置，判断是否启动协同跟踪模式；
步骤4，在协同跟踪模式中，启动协同机制，根据对极几何关系对被遮挡目标的状态进行校正与更新；
步骤5，将步骤4处理后的目标状态作为目标当前时刻状态，返回步骤2，实现C1和C2之间运动目标的持续协同跟踪。
步骤1的具体步骤为：
选取同一时刻C1和C2对目标拍摄出的两个画面，记为图像A和图像B；
在C1中，假设粒子在t时刻的状态满足：其中，为重要性密度函数；
粒子局部观测似然权重初始化为：其中，为局部观测似然概率；
预估计图像A中下一时刻的目标状态为：
同理，中C2，预估计图像B中下一时刻的目标状态为：
其中，i为目标编号，i>1；n为目标i中采样粒子编号；Np是图像A中所有粒子数；x表示目标的状态；z表示目标的观测信息；表示图像A中目标i在t时刻的状态；表示图像A中目标i到t-1时刻所有的状态；表示图像A中目标i在t时刻的观测信息；表示图像A中目标i到t时刻所有的观测信息；表示图像B中目标i在t时刻的状态；表示图像B中目标i到t时刻所有的观测信息；表示图像B中目标i到t-1时刻所有的状态。
步骤3的具体过程为：
如图2所示，在C2中存在双曲面镜坐标系Cm和全景摄像机坐标系CO，Om是双曲面镜的上焦点，Oo是双曲面镜的下焦点，根据双曲面的光学特性，空间中射向Om的光线讲过双曲面镜反射后必将汇聚到Oo，并在摄像机图像平面上成像，摄像机可以采360°×θ的场景图像，其中360°为水平方向视场角，θ为垂直方向视场角，它有反射镜和摄像机的几何尺寸和参数决定。C1为普通CCD摄像机，C2为双曲面反射镜和普通CCD摄像机组合而成，如图3所示，C1和C2构成多型视觉对极几何系统，多型视觉对极几何系统中增加了传统摄像机坐标系Cp；
双曲面镜的方程为：
式中，a、b和c为双曲面的参数，满足a2+b2＝c2；
设全景摄像机坐标系CO内一点Xo的坐标为[xo,yo,zo]T,若在双曲面镜坐标系Cm中表示，则需要一个平移变化：
式中，[xm,ym,zm]T为Xo在双曲面镜坐标系Cm中的坐标；
设[qu,qv]T为Xo在图像B中的坐标，则：
式中，q＝[qu,qv，1]T表示[qu,qv]T的齐次坐标，Ko为C2的内部参数，通过标定得到；
连接C1的投影中心Op和C2的投影中心Om得到基线，基线与图像A交于极点ep，基线与双曲面镜交于em，em在图像B中投影为极点eo，mp为目标X在图像A中的投影，mo为目标X在图像B中的投影，由X、Op和Om确定外极平面，mp、mm、Op、Om位于外极平面上；
设R和T分别为Cp和Cm之间的旋转矩阵和平移矩阵，在多型视觉对极几何系统中存在本质矩阵E＝SR，其中：
S为T中平移向量的斜对称矩阵，平移向量为[tx,ty,tz]T；
目标X在传统摄像机坐标系Cp和双曲面镜坐标系Cm下的坐标分别为Xp和Xm，则：
设[up,vp]T为目标X在图像A上投影点的坐标，那么：
Kp为C1的内部参数矩阵，[up,vp,1]T为[up,vp]T的齐次坐标；
定义外极平面的法向量n＝[p,q,s]T，在多型视觉对极几何系统中有：
.n＝E×XP (9)
设Pm＝[xm,ym,zm]T为外极平面和双曲面镜的交线L上一点XL的坐标，可得：
pxm+qym+szm＝0 (10)
联立式(3)和式(10)，得到交线L的方程：
交线L用矩阵乘法表示为：
将Pm从双曲面镜坐标系Cm变换至全景摄像机坐标系Co上：
将点XL投影到图像B上：
联立(12)～(14)式，得到目标在图像B上的极线方程lo：
其中，
由X，mp，mm三点共面，点mp落在直线lp上，联立式(7)和式(8)，得到目标在图像A上的极线为lp：
如图4所示，使用多型视觉系统采集视频进行测试，在传统图像上选择不同的点A、C、E，能够找到在全景图像中对应的极线，在全景图像上选择不同的点B、D、F，找到在传统图像中的对应极线，证明了本发明的有效性。
步骤4的具体过程为：
如图5所示，C1和C2的跟踪区域能够分为区域1、区域2和区域3；
目标位于区域2时，只有C1的观测信息有效，C1单独跟踪目标，目标的后验概率为：
t时刻，采样粒子的一致性权重表示为：
将采样粒子的一致性权重代替粒子局部观测似然权重，带入式(1)，对图像A中目标下一时刻的状态进行更新；
同理，目标位于区域3时，只有C2的观测信息有效，使C2单独跟踪目标，t时刻，采样粒子的一致性权重表示为：
将采样粒子的一致性权重代理粒子局部观测似然权重，带入式(2)，对图像B中目标下一时刻的状态进行更新；
目标位于区域1时，C1和C2的观测信息同时有效，目标的后验概率为：
其中，表示局部观测似然概率，表示状态转移概率，表示协同似然概率；Kt表示常数，表示图像A中目标i到t时刻所有的状态；表示图像A中目标i到t-1时刻所有的观测信息；表示图像B中目标i到t-1时刻所有的观测信息。
步骤3中，判断是否启动协同跟踪模式的具体过程为：
若直接启动协同跟踪模式；若按下式判断：
其中，Υ是局部似然阈值，T是协同似然阈值；
对应C1，选择采样的粒子满足重要性密度函数则采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入式(1)，对图像A中目标下一时刻的状态进行更新；
同理，对于C2，采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入式(2)，对图像B中目标下一时刻的状态进行更新；
步骤4的具体步骤为：
如图6所示，步骤4.1，设跟踪的目标中包含目标i和目标j，目标i和目标j在C1中的观测信息分别为目标i和目标j在C2中的观测信息分别为和
在C1的视野中，当目标j遮挡目标i时，根据目标i在图像B中的对极曲线校正图像A中目标i下一时刻的位置：
计算图像A中目标i下一时刻的协同权重：
式中，Np是图像A中的粒子数；为图像A中目标i的每个粒子与其对应的图像B中的对极曲线的最短距离，δ(·)是狄拉克函数：
为目标i在C2中的观测信息；为图像A中的目标i在C2中的对极曲线；是宽带的方差；∑φB是宽带的标准差；
将图像A中目标i下一时刻的协同权重带入式(23)，对图像A中目标下一时刻的状态进行更新；
在图像B中，当目标j遮挡目标i时，根据目标i在图像A中的对极曲线校正图像B中目标i下一时刻的位置：
计算图像B中目标i下一时刻的协同权重：
式中，Np'是图像B中的粒子数；为图像B中目标i的每个粒子与其对应的图像A中的对极曲线的最短距离，δ(·)是狄拉克函数：
为在目标i在C1中的观测信息；为图像B中目标i在C1中的对极曲线；是宽带的方差；∑φA是宽带的标准方差；
将图像B中目标i下一时刻的协同权重带入式(24)，对图像B中目标下一时刻的状态进行更新。
为了验证本发明的正确性和有效性，采用不同的视频场景进行测试，测试视频选用自行拍摄的、分辨率为1920*1080的视频图像。
如图7所示，实验一的场景简单，在第591、604、615帧中，矩形框为目标跟踪框，图7中的直线为全景图像中的目标在传统图像中的对极线，圆弧为传统图像中的目标在全景视图中的对极线，我们看到目标都经过对极线，C1和C2均能够准确跟踪目标。
如图8所示，实验二中存在目标遮挡，在610帧之前，C1和C2都能够准确跟踪，在625帧时，C1中因为遮挡丢失目标，在631帧时，目标出现，经过校正和更新，能够重新定位到目标并进行准确跟踪。
通过上述方式，本发明在贝叶斯理论框架下，构建协同跟踪机制，建立多型视觉对极几何系统，采用对极几何的方法建立目标一致性判断方法；定义了一种新颖的后验概率计算，增加了粒子后验概率包含的信息内容，使后验概率更加可信，本发明解决了协同跟踪有效区域狭小，成本过高等问题，能够很好地实现对运动目标的持续协同跟踪。
Claims (6)
1.多型视觉传感协同目标跟踪方法，其特征在于，具体包括以下步骤：
步骤1，利用传统摄像机C1和全景摄像机C2跟踪相同的目标，在C1和C2中分别采用粒子滤波方法预估计下一时刻的目标状态；
步骤2，建立C1和C2之间的对极几何关系；
步骤3，建立协同开关模型，根据目标在C1和C2的视野中的位置，判断是否启动协同跟踪模式；
步骤4，在协同跟踪模式中，启动协同机制，根据对极几何关系对被遮挡目标的状态进行校正与更新；
步骤5，将步骤4处理后的目标状态作为目标当前时刻状态，返回步骤2，实现C1和C2之间运动目标的持续协同跟踪。
2.根据权利要求1所述的多型视觉传感协同目标跟踪方法，其特征在于，所述步骤1的具体步骤为：
选取同一时刻C1和C2对目标拍摄出的两个画面，记为图像A和图像B；
在C1中，假设粒子在t时刻的状态满足：其中，为重要性密度函数；
粒子局部观测似然权重初始化为：其中，为局部观测似然概率；
预估计图像A中下一时刻的目标状态为：
同理，中C2，预估计图像B中下一时刻的目标状态为：
其中，i为目标编号，i>1；n为目标i中采样粒子编号；Np是图像A中所有粒子数；x表示目标的状态；z表示目标的观测信息；表示图像A中目标i在t时刻的状态；表示图像A中目标i到t-1时刻所有的状态；表示图像A中目标i在t时刻的观测信息；表示图像A中目标i到t时刻所有的观测信息；表示图像B中目标i在t时刻的状态；表示图像B中目标i到t时刻所有的观测信息；表示图像B中目标i到t-1时刻所有的状态。
3.根据权利要求2所述的多型视觉传感协同目标跟踪方法，其特征在于，所述步骤2的具体过程为：
在C2中存在双曲面镜坐标系Cm和全景摄像机坐标系CO，C1和C2构成多型视觉对极几何系统，其中增加了传统摄像机坐标系Cp；
双曲面镜的方程为：
式中，a、b和c为双曲面的参数，满足a2+b2＝c2；
设全景摄像机坐标系CO内一点Xo的坐标为[xo,yo,zo]T,若在双曲面镜坐标系Cm中表示，则需要一个平移变化：
式中，[xm,ym,zm]T为Xo在双曲面镜坐标系Cm中的坐标；
设[qu,qv]T为Xo在图像B中的坐标，则：
式中，q＝[qu,qv，1]T表示[qu,qv]T的齐次坐标，Ko为C2的内部参数，通过标定得到；
连接C1的投影中心Op和C2的投影中心Om得到基线，基线与图像A交于极点ep，基线与双曲面镜交于em，em在图像B中投影为极点eo，mp为目标X在图像A中的投影，mo为目标X在图像B中的投影，由X、Op和Om确定外极平面，mp、mm、Op、Om位于外极平面上；
设R和T分别为Cp和Cm之间的旋转矩阵和平移矩阵，在多型视觉对极几何系统中存在本质矩阵E＝SR，其中：
S为T中平移向量的斜对称矩阵，平移向量为[tx,ty,tz]T；
目标X在传统摄像机坐标系Cp和双曲面镜坐标系Cm下的坐标分别为Xp和Xm，则：
设[up,vp]T为目标X在图像A上投影点的坐标，那么：
Kp为C1的内部参数矩阵，[up,vp,1]T为[up,vp]T的齐次坐标；
定义外极平面的法向量n＝[p,q,s]T，在多型视觉对极几何系统中有：
.n＝E×XP (9)
设Pm＝[xm,ym,zm]T为外极平面和双曲面镜的交线L上一点XL的坐标，可得：
pxm+qym+szm＝0 (10)
联立式(3)和式(10)，得到交线L的方程：
交线L用矩阵乘法表示为：
将Pm从双曲面镜坐标系Cm变换至全景摄像机坐标系Co上：
将点XL投影到图像B上：
联立(12)～(14)式，得到目标在图像B上的极线方程lo：
其中，
由X，mp，mm三点共面，点mp落在直线lp上，联立式(7)和式(8)，得到目标在图像A上的极线为lp：
4.根据权利要求3所述的多型视觉传感协同目标跟踪方法，所述步骤3中，建立协同开关模型的具体过程为：
C1和C2的跟踪区域能够分为三个部分：区域1、区域2和区域3；
目标位于区域2时，只有C1的观测信息有效，C1单独跟踪目标，目标的后验概率为：
t时刻，采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入式(1)，对图像A中目标下一时刻的状态进行更新；
同理，目标位于区域3时，只有C2的观测信息有效，使C2单独跟踪目标，t时刻，采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入式(2)，对图像B中目标下一时刻的状态进行更新；
目标位于区域1时，C1和C2的观测信息同时有效，目标的后验概率为：
其中，表示局部观测似然概率，表示状态转移概率，表示协同似然概率；Kt表示常数，表示图像A中目标i到t时刻所有的状态；表示图像A中目标i到t-1时刻所有的观测信息；表示图像B中目标i到t-1时刻所有的观测信息。
5.根据权利要求4所述的多型视觉传感协同目标跟踪方法，所述步骤3中，判断是否启动协同跟踪模式的具体过程为：
若直接启动协同跟踪模式；若按下式判断：
其中，Υ是局部似然阈值，T是协同似然阈值；
对应C1，选择采样的粒子满足重要性密度函数则采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入所述式(1)，对图像A中目标下一时刻的状态进行更新；
同理，对于C2，采样粒子的一致性权重表示为：
将采样粒子的一致性权重带入所述式(2)，对图像B中目标下一时刻的状态进行更新。
6.根据权利要求5所述的多型视觉传感协同目标跟踪方法，步骤4的具体步骤为：
步骤4.1，设跟踪的目标中包含目标i和目标j，目标i和目标j在C1中的观测信息分别为目标i和目标j在C2中的观测信息分别为和在C1的视野中，当目标j遮挡目标i时，根据目标i在图像B中的对极曲线校正图像A中目标i下一时刻的位置：
计算图像A中目标i下一时刻的协同权重：
式中，Np是图像A中的粒子数；为图像A中目标i的每个粒子与其对应的图像B中的对极曲线的最短距离，δ(·)是狄拉克函数：
为目标i在C2中的观测信息；为图像A中的目标i在C2中的对极曲线；是宽带的方差；∑φB是宽带的标准差；
将图像A中目标i下一时刻的协同权重带入所述式(23)，对图像A中目标下一时刻的状态进行更新；
在图像B中，当目标j遮挡目标i时，根据目标i在图像A中的对极曲线校正图像B中目标i下一时刻的位置：
计算图像B中目标i下一时刻的协同权重：
式中，Np'是图像B中的粒子数；为图像B中目标i的每个粒子与其对应的图像A中的对极曲线的最短距离，δ(·)是狄拉克函数：
为在目标i在C1中的观测信息；为图像B中目标i在C1中的对极曲线；是宽带的方差；∑φA是宽带的标准方差；
将图像B中目标i下一时刻的协同权重带入所述式(24)，对图像B中目标下一时刻的状态进行更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710247379.XA CN107038714B (zh) | 2017-04-17 | 2017-04-17 | 多型视觉传感协同目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710247379.XA CN107038714B (zh) | 2017-04-17 | 2017-04-17 | 多型视觉传感协同目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107038714A true CN107038714A (zh) | 2017-08-11 |
| CN107038714B CN107038714B (zh) | 2020-01-14 |
Family
ID=59535401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710247379.XA Expired - Fee Related CN107038714B (zh) | 2017-04-17 | 2017-04-17 | 多型视觉传感协同目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107038714B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680136A (zh) * | 2017-09-25 | 2018-02-09 | 西北工业大学 | 一种辅助遥操作执行空间任务的三维目标跟踪方法 |
| CN108830884A (zh) * | 2018-04-04 | 2018-11-16 | 西安理工大学 | 一种多视觉传感器协同目标跟踪方法 |
| CN109212480A (zh) * | 2018-09-05 | 2019-01-15 | 浙江理工大学 | 一种基于分布式辅助粒子滤波的声源跟踪方法 |
| CN111377065A (zh) * | 2020-03-09 | 2020-07-07 | 西北工业大学 | 一种多航天器协同识别目标姿态参数的方法 |
| WO2021232222A1 (zh) * | 2020-05-19 | 2021-11-25 | 华为技术有限公司 | 用于测距的方法和装置 |
| CN113838101A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种适用于具有重叠视野的摄像机网络下的目标追踪方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521612A (zh) * | 2011-12-16 | 2012-06-27 | 东华大学 | 一种基于协同关联粒子滤波的多视频目标主动跟踪方法 |
| CN104574443A (zh) * | 2015-01-15 | 2015-04-29 | 西安理工大学 | 一种全景摄像机间运动目标的协同跟踪方法 |
-
2017
- 2017-04-17 CN CN201710247379.XA patent/CN107038714B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521612A (zh) * | 2011-12-16 | 2012-06-27 | 东华大学 | 一种基于协同关联粒子滤波的多视频目标主动跟踪方法 |
| CN104574443A (zh) * | 2015-01-15 | 2015-04-29 | 西安理工大学 | 一种全景摄像机间运动目标的协同跟踪方法 |
Non-Patent Citations (2)
| Title |
|---|
| CHANGJIANG YANG ET AL.: "Fast Multiple Object Tracking via a Hierarchical Particle Filter", 《PROCEEDINGS OF THE TENTH IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV’05)》 * |
| 何炳蔚 等: "混合视觉系统中共同视场的确定与3维重建方法", 《机器人》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107680136A (zh) * | 2017-09-25 | 2018-02-09 | 西北工业大学 | 一种辅助遥操作执行空间任务的三维目标跟踪方法 |
| CN108830884A (zh) * | 2018-04-04 | 2018-11-16 | 西安理工大学 | 一种多视觉传感器协同目标跟踪方法 |
| CN108830884B (zh) * | 2018-04-04 | 2021-12-17 | 西安理工大学 | 一种多视觉传感器协同目标跟踪方法 |
| CN109212480A (zh) * | 2018-09-05 | 2019-01-15 | 浙江理工大学 | 一种基于分布式辅助粒子滤波的声源跟踪方法 |
| CN109212480B (zh) * | 2018-09-05 | 2020-07-28 | 浙江理工大学 | 一种基于分布式辅助粒子滤波的声源跟踪方法 |
| CN111377065A (zh) * | 2020-03-09 | 2020-07-07 | 西北工业大学 | 一种多航天器协同识别目标姿态参数的方法 |
| CN111377065B (zh) * | 2020-03-09 | 2021-11-16 | 西北工业大学 | 一种多航天器协同识别目标姿态参数的方法 |
| WO2021232222A1 (zh) * | 2020-05-19 | 2021-11-25 | 华为技术有限公司 | 用于测距的方法和装置 |
| CN113838101A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种适用于具有重叠视野的摄像机网络下的目标追踪方法 |
| CN113838101B (zh) * | 2021-11-25 | 2022-03-18 | 之江实验室 | 一种适用于具有重叠视野的摄像机网络下的目标追踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107038714B (zh) | 2020-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107038714A (zh) | 多型视觉传感协同目标跟踪方法 | |
| CN103337094B (zh) | 一种应用双目摄像机实现运动三维重建的方法 | |
| CN105550670B (zh) | 一种目标物体动态跟踪与测量定位方法 | |
| US20200334842A1 (en) | Methods, devices and computer program products for global bundle adjustment of 3d images | |
| CN108288294A (zh) | 一种3d相机群的外参标定方法 | |
| Tang et al. | ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans | |
| CN108731587A (zh) | 一种基于视觉的无人机动态目标跟踪与定位方法 | |
| JP2015521419A (ja) | コンピュータ生成された３次元オブジェクトとフィルムカメラからの映像フィードとをリアルタイムに混合または合成するシステム | |
| CN104794468A (zh) | 一种基于无人机动平台的人脸检测与跟踪方法 | |
| CN110189382A (zh) | 一种基于无共视区域的多双目相机运动标定方法 | |
| CN105809626A (zh) | 一种自适应光线补偿的视频图像拼接方法 | |
| CN109523595A (zh) | 一种建筑工程直线棱角间距视觉测量方法 | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| CN110378995B (zh) | 一种利用投射特征进行三维空间建模的方法 | |
| CN108734655A (zh) | 空中多节点实时侦查的方法及系统 | |
| Jeges et al. | Measuring human height using calibrated cameras | |
| Jianbang et al. | Real-time monitoring of physical education classroom in colleges and universities based on open IoT and cloud computing | |
| CN108830797A (zh) | 一种基于仿射投影矩阵模型的直线匹配方法 | |
| CN111818270B (zh) | 用于多机位摄像的自动控制方法和系统 | |
| Junejo et al. | Autoconfiguration of a dynamic nonoverlapping camera network | |
| CN109978908A (zh) | 一种适应大尺度形变的单目标快速跟踪定位方法 | |
| CN111914790B (zh) | 基于双摄像头的不同场景下实时人体转动角度识别方法 | |
| CN110363806B (zh) | 一种利用不可见光投射特征进行三维空间建模的方法 | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200114 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |