CN104574443B - 一种全景摄像机间运动目标的协同跟踪方法 - Google Patents
一种全景摄像机间运动目标的协同跟踪方法 Download PDFInfo
- Publication number
- CN104574443B CN104574443B CN201510021234.9A CN201510021234A CN104574443B CN 104574443 B CN104574443 B CN 104574443B CN 201510021234 A CN201510021234 A CN 201510021234A CN 104574443 B CN104574443 B CN 104574443B
- Authority
- CN
- China
- Prior art keywords
- mrow
- msubsup
- panoramic picture
- target
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种全景摄像机间运动目标的协同跟踪方法，包括以下步骤：采集并选取全景视频A′和全景视频B′当中一对图像，记为全景图像A和全景图像B，一对图像指同一目标在全景摄像机C1和全景摄像机C2中同一时刻的图像；分别提取A和B中的目标特征；分别采用粒子滤波方法预估计A和B中目标下一时刻状态；计算A中预估计目标在C2中对极曲线和B中预估计目标在C1中对极曲线；根据对极曲线分别对A和B中目标位置校正，并更新颜色信息，实现A和B间目标的协同跟踪；将A′和B′中所有图像序列跟踪完，实现全景摄像机间运动目标的协同跟踪。本发明一种基于全景摄像机间运动目标的协同跟踪方法，能够实现两个全景摄像机间运动目标的协同跟踪。
Description
技术领域
本发明属于视频图像跟踪技术领域，涉及一种全景摄像机间运动目标的协同跟踪方法。
背景技术
由于多传感协同目标跟踪可以有效地解决目标遮挡、场景混乱、环境光照突变等情况下的目标跟踪问题，因此，被广泛应用在视频监控、行为分析、交通监测等方面，但不同摄像机中的目标匹配是多传感器协同跟踪中需要解决的关键问题。
目前，常见的判断目标一致性的模型有：高度模型、地标模型、颜色模型、对极几何模型和单应性模型。由于摄像机安装高度和角度不同，外观高度模型不具有代表性；地标模型需要进行摄像机标定，算法的复杂度高，限制了应用范围；而颜色模型在不同摄像机间会有所差异，通常与对极几何、单应性模型联合应用；对极几何方法是利用平面对极约束，得到对应目标所在平面的对极线，实现目标的协同跟踪，对极几何关系建立多摄像机之间协同概率模型，实现目标鲁棒跟踪，但缺点是不能直接获取目标的准确位置，只能得到一条通过目标的对极线。因此，有人提出一种三焦点张量点转移的方法，通过求取两条对极线的交点即目标点，实现对目标的准确定位，但这种方法又存在极点漂移问题，给计算结果带来不可预估的偏差。除此之外，为解决对极几何不确定性问题，有人又提出了单应性方法，在对极几何约束的基础上，假设目标运动在地平面或者位于同一个平面上，实现点对点的对应，准确得到目标的“脚点”位置，局限性是获取的目标信息不够全面，即只有“脚点”信息，而当目标出现遮挡时，“脚点”位置又很难获取。
上述协同跟踪方法均是建立在普通摄像机基础上，由于普通摄像机视野范围有限的影响，就使得监控网络中的协同跟踪有效区域狭小，而且当摄像机位置或角度发生变化时，就要重新建立各摄像机之间的联系。针对上述视野范围问题，有人设计了一套用于军事监测的双曲面反射镜成像系统(全景摄像机)，可以获得宽广的视野范围，最高可获得360度范围的全景视野，虽然全景摄像机弥补了普通摄像机视野狭小的缺点，但是由于全景摄像机间的对极几何关系比较复杂，因此，上述的在普通摄像机间的对运动目标的协同跟踪方法在全景摄像机中不再完全适用，目前，在全景摄像机中并无实现运动目标协同跟踪的方法。
发明内容
本发明的目的是提供一种全景摄像机间运动目标的协同跟踪方法，能够实现两个全景摄像机之间运动目标的持续协同跟踪。
本发明所采用的技术方案是，一种全景摄像机间运动目标的协同跟踪方法，具体按照以下步骤实施：
步骤1，利用两个全方位视觉传感器从不同视角采集包含有同一个目标的全景视频A′和全景视频B′，并选取全景视频A′和全景视频B′当中的一对图像，一对图像指同一目标分别在全景摄像机C1和全景摄像机C2中同一时刻的图像，分别记为全景图像A和全景图像B；
步骤2，分别提取全景图像A和全景图像B中的目标特征，目标特征包括颜色信息和位置信息；
步骤3，采用粒子滤波方法并根据提取出来的全景图像A的目标特征对全景图像A目标下一时刻的状态进行预估计；
同时，采用粒子滤波方法并根据提取出来的全景图像B的目标特征对全景图像B目标下一时刻的状态进行预估计；
步骤4，当全景图像A和全景图像B中预估计的目标状态均满足对极几何条件时，则计算全景图像A中预估计目标在全景摄像机C2中的对极曲线；
同时计算全景图像B中预估计目标在全景摄像机C1中的对极曲线；
步骤5，当全景图像A和全景图像B之间满足协同控制开关条件时，则分别根据步骤4中计算出来的对极曲线对全景图像A和全景图像B中目标的位置进行校正，并更新颜色信息，从而实现全景图像A和全景图像B间目标的协同跟踪；
步骤6，将步骤5中得到的校正和更新后的图像作为全景图像A和全景图像B当前时刻状态，并返回步骤3，直至将全景视频A′和全景视频B′中所有图像序列跟踪完，从而实现两个全景摄像机间运动目标的协同跟踪。
本发明的特点还在于，
步骤3中采用粒子滤波方法分别对全景图像A和全景图像B中目标下一时刻状态进行预估计，具体按照以下方法实施：
步骤3.1，分别采用局部似然权重对全景图像A和全景图像B中目标下一时刻的颜色信息预估计，并分别采用重要性密度函数对全景图像A和全景图像B中目标下一时刻的位置信息预估计：
对全景图像A中目标下一时刻的颜色信息进行预估计，具体方法如下：
a.在全景图像A中选取采样粒子对目标进行表示；
b.将全景图像A中选取的采样粒子的局部观测似然权重初始化为：
式中，
p表示全景图像A中颜色直方图中像素个数；HY(p)表示全景图像A中每个粒子状态的直方图；HC(p)表示初始化的参考直方图；
c.对初始化后的局部观测似然权重进行归一化处理，得到全景图像A中采样粒子的局部观测似然权重，即得到全景图像A中目标下一时刻的预估计颜色；
同时，采用重要性密度函数对全景图像A中目标下一时刻的位置信息进行预估计，具体为：
其中，i为目标编号，i>1；n为目标i中采样粒子的编号；
表示全景图像A中目标i在t时刻的状态；
表示全景图像A中目标i到t-1时刻所有的状态；
表示全景图像A中目标i到t时刻所有的观测信息；
表示全景图像B中目标i到t时刻所有的观测信息；
对全景图像B中目标下一时刻的颜色信息进行预估计，具体方法如下：
a.在全景图像B中选取采样粒子对目标进行表示；
b.将全景图像B中选取的采样粒子的局部观测似然权重初始化为：
其中，
式中，p′表示全景图像B中颜色直方图中像素个数；HY(p')表示全景图像B中每个粒子状态的直方图；HC(p')表示初始化的参考直方图；
c.对初始化后的局部观测似然权重进行归一化处理，得到全景图像B中采样粒子的局部观测似然权重，即得到全景图像B中目标下一时刻的预估计颜色；
采用重要性密度函数对全景图像B中目标下一时刻位置信息预估计：
步骤3.2，分别将步骤3.1中全景图像A和全景图像B中目标下一时刻的预估计位置信息和颜色信息进行组合，得到全景图像A和全景图像B中目标下一时刻的状态；
将步骤3.1中预估计的全景图像A中目标下一时刻的颜色信息和位置信息组合，得到全景图像A中目标下一时刻的状态，具体为：
将步骤3.1中预估计的全景图像B中目标下一时刻的颜色信息和位置信息组合，得到全景图像B中目标下一时刻的预估计状态，具体为：
步骤4具体为：
计算全景图像B中的目标点在全景摄像机C1中的对极曲线为：
其中，u2是全景图像B中目标的位置坐标，表示为[u,v,1]，其中u是全景图像B中预估计点的横坐标，v是全景图像B中预估计点的纵坐标，u1是全景图像A中目标的位置坐标，是u2坐标的转置，A2(E,u1)是全景摄像机C2与全景摄像机C1之间的转换矩阵，按照以下方法计算：
其中，
其中，E是本征矩阵；b2，K2，Rc2分别是全景摄像机C2的镜面参数、内部参数和旋转矩阵；na是极平面上的法向量；内部参数指图像平面与摄像机平面间的变换矩阵；α，β，γ分别代表法向量na中第一行、第二行和第三行坐标；
法向量n的计算方法具体为：
na＝FX2
(9)
其中，F是全景摄像机C1与全景摄像机C2之间的本质矩阵，与普通摄像机求取方法一样；X2是全景图像B中预估计点坐标u2在全景摄像机C2的镜面上投影所得的点坐标；
计算全景图像A中的目标点在全景摄像机C2中的对极曲线为：
其中，u1是全景图像A中预估计点的位置坐标，表示为[u',v',1]，其中u'是全景图像A中预估计点的横坐标，v'是全景图像A中预估计点的纵坐标，是u1坐标的转置，A1(E,u2)是全景摄像机C1与全景摄像机C2之间的转换矩阵，按照以下方法计算：
其中，
其中，E是本征矩阵；b1，K1，Rc1分别是全景摄像机C1的镜面参数、内部参数和旋转矩阵；na'是极平面上的法向量；α',β',γ'分别代表法向量na'中第一行、第二行和第三行坐标；法向量na'的计算方法具体为：
na'＝FTX1
(12)
其中，FT是F的转置矩阵，FT代表全景摄像机C2与全景摄像机C1之间的本质矩阵；X1是全景图像A中预估计点坐标u1在全景摄像机C1镜面上投影所得的点坐标。
步骤5中的协同控制开关条件为：
ξ≤θ1≤π，
(15)
其中，ξ根据摄像机重叠区域的边界与摄像机焦点的几何关系决定，取值为[0 π]，θ1为两个全景摄像机C1和C2的镜面焦点与物点之间的夹角。
步骤5具体为：
步骤5.1，分别计算全景图像A和全景图像B中目标下一时刻的协同权重，并利用步骤3.1中的对全景图像A和全景图像B中目标下一时刻的颜色信息进行预估计的方法对全景图像A和全景图像B中目标下一时刻的颜色信息进行更新；
计算全景图像A中目标下一时刻的协同权重，具体为：
根据对极曲线对全景图像A中目标下一时刻的预估计位置进行校正，具体方法如下：
式中，Np是全景图像A中所有粒子数；为全景摄像机C1中目标i的每个粒子与其对应的全景摄像机C2中的对极曲线的最短距离，具体按照以下方法计算：
为在目标i全景摄像机C2中的观测信息；为全景图像A中的目标i在全景摄像机C2中的对极曲线；是宽带的方差；∑φB是宽带的标准差；
计算全景图像B中目标下一时刻的协同权重，具体为：
根据对极曲线对全景图像B中目标下一时刻的预估计位置进行校正，具体方法如下：
式中，Np'是全景图像B中所有粒子数；为全景图像B中目标i的每个粒子与其对应的全景图像A中的对极曲线的最短距离，具体按照以下方法计算：
为在目标i全景图像A中的观测信息；为全景图像B中目标i在全景摄像机C1中的对极曲线；是宽带的方差；∑φA是宽带的标准方差；
分别利用步骤3.1中对全景图像A和全景图像B中目标下一时刻的颜色信息进行预估计的方法对全景图像A和全景图像B中下一时刻的颜色进行更新；
步骤5.2，分别将步骤5.1中计算的全景图像A和全景图像B中目标的协同权重和更新后的颜色信息组合，得到全景图像A和全景图像B中目标下一时刻的准确状态，实现全景图像A和全景图像B中目标的协同跟踪。
本发明的有益效果是：通过研究全景摄像机间的对极几何关系，并结合粒子滤波方法，使得全景摄像机相对于传统的普通摄像机来说，协同跟踪区域有所增大，并且对极几何约束方法能够减少目标的搜索范围，提高目标在遇到遮挡时的鲁棒性，从而提高了目标在面对非线性问题情况下的鲁棒性，实现了对运动目标的持续协同跟踪。
附图说明
图1是本发明一种全景摄像机间运动目标的协同跟踪方法的流程示意图；
图2(a)是现有技术中普通摄像机之间的几何关系示意图；
图2(b)是本发明中全景摄像机之间的几何关系示意图；
图3是本发明中双全景图像中的对极几何关系示意图；
图4是本发明中双全景摄像机协同跟踪区域划分的示意图；
图5是本发明中双全景摄像机成像模型示意图；
图6是本发明中计算全景图像A中每个粒子的协同权值的示意图；
图7是本发明中实验一的跟踪测试结果；
图8是本发明中实验二的跟踪测试结果；
图9是本发明中实验三的跟踪测试结果；
图10是本发明中实验四的跟踪测试结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种全景摄像机间运动目标的协同跟踪方法，如图1所示，具体按照以下步骤实施：
步骤1，利用两个全方位视觉传感器从不同视角采集包含有同一个目标的全景视频A′和全景视频B′，选取全景视频A′和全景视频B′当中的一对图像，上述一对图像指同一目标分别在全景摄像机C1和全景摄像机C2中同一时刻的图像，分别记为全景图像A和全景图像B；
步骤2，分别提取全景图像A和全景图像B中的目标特征，目标特征包括颜色信息和位置信息；
步骤3，根据提取出来的全景图像A的目标特征对全景图像A目标下一时刻的状态进行预估计，具体包括：
对全景图像A中目标下一时刻的颜色信息进行预估计，具体为：
a.在全景图像A中选取采样粒子对目标进行表示；
b.将全景图像A中选取的采样粒子的局部观测似然权重初始化为：
式中，
p表示全景图像A中颜色直方图中像素个数；HY表示全景图像A中每个粒子状态的直方图；HC表示初始化的参考直方图；
c.对初始化后的局部观测似然权重进行归一化处理，得到全景图像A中采样粒子的局部观测似然权重，即得到全景图像A中目标下一时刻的预估计颜色；
采用重要性密度函数对全景图像A中目标下一时刻的位置信息进行预估计，具体为；
其中，i为目标编号，i>1；n为目标i中采样粒子的编号；
表示全景图像A中目标i在t时刻的状态；
表示全景图像A中目标i到t-1时刻所有的状态；
表示全景图像A中目标i到t时刻所有的观测信息；
表示全景图像B中目标i到t时刻所有的观测信息；
将上述预估计的全景图像A中目标下一时刻的颜色信息和位置信息组合，得到全景图像A中目标下一时刻的状态，具体为：
根据提取出来的全景图像B的目标特征对全景图像B目标下一时刻的状态进行预估计，具体包括：
对全景图像B中目标下一时刻的颜色信息进行预估计，具体方法如下：
a.在全景图像B中选取采样粒子对目标进行表示；
b.将全景图像B中选取的采样粒子的局部观测似然权重初始化为：
其中，
式中，p'表示全景图像B中颜色直方图中像素个数；HY表示全景图像B中每个粒子状态的直方图；HC表示初始化的参考直方图；
c.对初始化后的局部观测似然权重进行归一化处理，得到全景图像B中采样粒子的局部观测似然权重，即得到全景图像B中目标下一时刻的预估计颜色；
采用重要性密度函数对全景图像B中目标下一时刻位置信息预估计：
将上述预估计的全景图像B中目标的颜色信息和位置信息组合得到全景图像B中目标下一时刻的预估计状态，具体为：
步骤4，当全景图像A和全景图像B中预估计的目标状态均满足对极几何条件时，则计算全景图像A中预估计目标在全景摄像机C2中的对极曲线；同时计算全景图像B中预估计目标在全景摄像机C1中的对极曲线；
本发明中对极曲线求取过程所利用的原理为：如图2所示，图2(a)是现有技术中普通摄像机上的几何关系，图2(b)是全景摄像机间的几何关系，在普通摄像机和全景摄像机间存在同样的几何关系，
本发明中采用八点法计算两个全景摄像机间的本质矩阵，与普通摄像机计算本质矩阵方法一样；
本发明中首先根据镜面参数计算得到两个全景摄像机间的转换矩阵，对于全景图像中的像素点，根据转换矩阵就可以计算出另一幅全景图像中相应点所在的对极曲线，得到两幅全景图像之间协同跟踪中的对极约束，如图3所示，全景摄像机C1中一个的目标点P2′对应全景摄像机C2中的一条对极曲线l2，可以看到，全景摄像机C2中求取的对极曲线l2穿过目标点P2，如果全景摄像机C2中的目标点P2存在遮挡，则可以采用对极曲线l2对目标进行引导搜索，将二位搜索降为一维搜索，从而减少了搜索范围，提高了跟踪的鲁棒性；全景摄像机C2中的一个目标点P1对应全景摄像机C1中的一条对极曲线l1，可以看到，全景摄像机C1中求取的对极曲线l1穿过目标点P1′，同样可以采用对极曲线l1对目标进行引导搜索。
具体按照以下方法计算：
计算全景图像B中的目标点在全景摄像机C1中的对极曲线为：
其中，u2是全景图像B中目标的位置坐标，表示为[u,v,1]，其中u是全景图像B中预估计点的横坐标，v是全景图像B中预估计点的纵坐标，是u2坐标的转置，A2(E,u1)是全景摄像机C2与全景摄像机C1之间的转换矩阵，按照以下方法计算：
其中，na＝[α，β，γ]T；
其中，E是本征矩阵；b2，K2，Rc2分别是全景摄像机C2的镜面参数、内部参数和旋转矩阵；na是极平面上的法向量；内部参数指图像平面与摄像机平面间的变换矩阵；α，β，γ分别代表法向量na中第一行、第二行和第三行坐标；
法向量na的计算方法具体为：
na＝FX2 (9)
其中，F是全景摄像机C1与全景摄像机C2之间的本质矩阵，与普通摄像机求取方法一样；X2是全景图像B中预估计点坐标u2在全景摄像机C2的镜面上投影所得的点坐标；
计算全景图像A中的目标点在全景摄像机C2中的对极曲线为：
其中，u1是全景图像A中预估计点的位置坐标，表示为[u',v',1]，其中u'是全景图像A中预估计点的横坐标，v'是全景图像A中预估计点的纵坐标，是u1坐标的转置，A1(E,u2)是全景摄像机C1与全景摄像机C2之间的转换矩阵；按照以下方法计算：
其中，na'＝[α',β',γ']T；
其中，E是本征矩阵；b1，K1，Rc1分别是全景摄像机C1的镜面参数、内部参数和旋转矩阵；na'是极平面上的法向量；α',β',γ'分别代表法向量na'中第一行、第二行和第三行坐标；法向量na'的计算方法具体为：
na'＝FTX1 (12)
其中，FT是F的转置矩阵，F代表全景摄像机C2与全景摄像机C1之间的本质矩阵；X1是全景图像A中预估计点坐标u1在全景摄像机C1镜面上投影所得的点坐标；
步骤5，分别根据对极曲线对全景图像A和全景图像B中目标的位置进行校正，并更新颜色信息，从而实现全景图像A和全景图像B间目标的协同跟踪；
在全景摄像机C1和C2间，如图4所示，区域1是两个全景摄像机C1和C2之间摄像范围的重叠区域，也是能够进行协同跟踪的区域；协同机制控制条件的方法具体如图5所示，X为目标，根据全景摄像机C1和C2之间的几何对应关系，可知，θ2′＝θ2，θ3′＝θ3，所以将公式
θ1＝π-θ2-θ3
(13)
写成
θ1＝π-θ2′-θ3′
(14)
其中：θ2是目标X与全景摄像机C1镜面焦点连线和镜面焦点连线之间的夹角，θ2′是夹角在图像平面的投影，θ3是目标X与摄像机C1镜面焦点连线和镜面焦点连线之间的夹角，θ3′是夹角在图像平面的投影，θ2′，θ3′在图像平面中进行求解。
定义阈值ξ，ξ根据摄像机重叠区域的边界与摄像机焦点的几何关系决定，取值为[0 π]；因此，协同控制开关条件为：
ξ≤θ1≤π， (15)
其中，θ1为两个摄像机镜面焦点与物点之间的夹角。
这里对于全景图像A和全景图像B中颜色进行更新，相当于对局部似然权值进行更新，具体方法和步骤2中对全景图像A和全景图像B中颜色预估计方法一样；
根据对极曲线对全景图像A中的位置进行校正，相当于计算全景图像A中采样粒子的协同权值，如图6所示，具体为：
式中，Np是全景图像A中所有粒子数；为全景摄像机C1中目标i的每个粒子与其对应的全景摄像机C2中的对极曲线的最短距离，具体按照以下方法计算：
为在目标i全景摄像机C2中的观测信息；为全景图像A中的目标i在全景摄像机C2中的对极曲线；是宽带的方差；∑φB是宽带的标准差；
将更新后的全景图像A中局部观测似然权值和协同权值组合，得到全景图像A中目标的准确状态；
同上，根据对极曲线对全景图像B中的位置进行校正，相当于计算全景图像B中采样粒子的协同权值，具体为：
式中，Np'是全景图像B中所有粒子数；为全景图像B中目标i的每个粒子与其对应的全景图像A中的对极曲线的最短距离，具体按照以下方法计算：
为在目标i全景图像A中的观测信息；为全景图像B中目标i在全景摄像机C1中的对极曲线；是宽带的方差；∑φA是宽带的标准方差；
将更新后的全景图像B中局部观测似然权值和协同权值组合，得到全景图像B中目标的准确状态，即实现两幅全景图像之间的协同跟踪；
步骤6，将步骤5中得到的校正和更新后的图像作为全景图像A和全景图像B当前时刻状态，并返回步骤3，直至将全景视频A′和全景视频B′中所有图像序列跟踪完，从而实现两个全景摄像机间运动目标的协同跟踪。
下面通过四组实验来验证本发明的全景摄像机间运动目标的协同跟踪方法的正确性和有效性：
在实际测试过程中，在第1帧，手动选取跟踪的目标进行初始化，并设定阈值ξ为20-30度，选择Matlab编程语言。
采用全景摄像机拍摄测试视频，所有视频的分辨率为1920*1080的视频图像。
实验一，选取视频的50、65、72帧，实验结果如图7所示；其中，第一列和第二列是摄像机A和摄像机B进行协同跟踪的结果，第三列是粒子滤波在摄像机A中单独跟踪的结果。
实验二，选取29、46、78帧，实验结果如图8所示；其中，第一列和第二列是摄像机A和摄像机B进行协同跟踪的结果，第三列是粒子滤波在摄像机A中单独跟踪的结果。
在实验一的第50、65、72帧中，目标在相机同一侧运动，干扰因素较少，目标不存在长时间遮挡问题。
在实验二的第29、46、78帧中，目标横穿相机重叠区域，存在短暂的行人遮挡问题。在这两种场景下，协同跟踪的效果明显优于普通粒子滤波的效果。目标在全景摄像机C1中第65帧丢失，第72帧目标重新出现的时候，但摄像机中目标判断失误，而本发明的方法可以再次识别到目标，继续进行跟踪，实现了多摄像机协同跟踪。
实验三，选取650、670、686、703帧，场景存在遮挡等情况，其中，第一列和第二列是一组协同跟踪结果，第三列和第四列是一组跟踪结果，实验结果如图9所示；
实验四，选取第200、214、218、248帧，其中，第一列和第二列是一组协同跟踪结果，第三列和第四列是一组跟踪结果，实验结果如图10所示。
在实验三的第650、670、686、703帧中，场景存在遮挡物，运动目标在遮挡物间行走，存在长时间的遮挡问题。而第686帧，全景摄像机C2出现遮挡，目标丢失；在实验四的第200、214、218、248帧中，行人较多，目标遮挡情况复杂，第210-218帧，目标开始在人群中穿梭，在第218帧时完全丢失，在第248帧时再次出现。本发明的方法可以很好的实现在全景摄像机之间目标的协同跟踪。
Claims (5)
1.一种全景摄像机间运动目标的协同跟踪方法，其特征在于，具体按照以下步骤实施：
步骤1，利用两个全方位视觉传感器从不同视角采集包含有同一个目标的全景视频A′和全景视频B′，并选取全景视频A′和全景视频B′当中的一对图像，所述一对图像指同一目标分别在全景摄像机C1和全景摄像机C2中同一时刻的图像，分别记为全景图像A和全景图像B；
步骤2，分别提取全景图像A和全景图像B中的目标特征，目标特征包括颜色信息和位置信息；
步骤3，采用粒子滤波方法并根据提取出来的全景图像A的目标特征对全景图像A目标下一时刻的状态进行预估计；
同时，采用粒子滤波方法并根据提取出来的全景图像B的目标特征对全景图像B目标下一时刻的状态进行预估计；
步骤4，当全景图像A和全景图像B中预估计的目标状态均满足对极几何条件时，则计算全景图像A中预估计目标在全景摄像机C2中的对极曲线；
同时计算全景图像B中预估计目标在全景摄像机C1中的对极曲线；
步骤5，当全景图像A和全景图像B之间满足协同控制开关条件时，则分别根据步骤4中计算出来的对极曲线对全景图像A和全景图像B中目标的位置进行校正，并更新颜色信息，从而实现全景图像A和全景图像B间目标的协同跟踪；
步骤6，将步骤5中得到的校正和更新后的图像作为全景图像A和全景图像B当前时刻状态，并返回步骤3，直至将全景视频A′和全景视频B′中所有图像序列跟踪完，从而实现两个全景摄像机间运动目标的协同跟踪。
2.根据权利要求1所述的一种全景摄像机间运动目标的协同跟踪方法，其特征在于，步骤3中采用粒子滤波方法分别对全景图像A和全景图像B中目标下一时刻状态进行预估计，具体按照以下方法实施：
步骤3.1，分别采用局部似然权重对全景图像A和全景图像B中目标下一时刻的颜色信息预估计，并分别采用重要性密度函数对全景图像A和全景图像B中目标下一时刻的位置信息预估计：
对全景图像A中目标下一时刻的颜色信息进行预估计，具体方法如下：
a.在全景图像A中选取采样粒子对目标进行表示；
b.将全景图像A中选取的采样粒子的局部观测似然权重初始化为：
<mrow>
<msubsup>
<mi>&omega;</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>=</mo>
<mi>p</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>z</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
式中，
p表示全景图像A中颜色直方图中像素个数；HY(p)表示全景图像A中每个粒子状态的直方图；HC(p)表示初始化的参考直方图；
c.对初始化后的局部观测似然权重进行归一化处理，得到全景图像A中采样粒子的局部观测似然权重，即得到全景图像A中目标下一时刻的预估计颜色；
同时，采用重要性密度函数对全景图像A中目标下一时刻的位置信息进行预估计，具体为：
<mrow>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>~</mo>
<mi>q</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mi>x</mi>
<mrow>
<mn>0</mn>
<mo>:</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>z</mi>
<mrow>
<mn>1</mn>
<mo>:</mo>
<mi>t</mi>
</mrow>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>z</mi>
<mrow>
<mn>1</mn>
<mo>:</mo>
<mi>t</mi>
</mrow>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，i为目标编号，i>1；n为目标i中采样粒子的编号；
表示全景图像A中目标i在t时刻的状态；
表示全景图像A中目标i在t时刻粒子n的状态；
表示全景图像A中目标i从t＝0时刻到t-1时刻粒子n所有的状态；
表示全景图像A中目标i从t＝1时刻到t时刻所有的观测信息；
表示全景图像B中目标i从t＝1时刻到t时刻所有的观测信息；
对全景图像B中目标下一时刻的颜色信息进行预估计，具体方法如下：
a.在全景图像B中选取采样粒子对目标进行表示；
b.将全景图像B中选取的采样粒子的局部观测似然权重初始化为：
<mrow>
<msubsup>
<mi>&omega;</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>=</mo>
<mi>p</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>z</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，
式中，p′表示全景图像B中颜色直方图中像素个数；HY(p')表示全景图像B中每个粒子状态的直方图；HC(p')表示初始化的参考直方图；
c.对初始化后的局部观测似然权重进行归一化处理，得到全景图像B中采样粒子的局部观测似然权重，即得到全景图像B中目标下一时刻的预估计颜色；
采用重要性密度函数对全景图像B中目标下一时刻位置信息预估计：
<mrow>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>~</mo>
<mi>q</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mi>x</mi>
<mrow>
<mn>0</mn>
<mo>:</mo>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>z</mi>
<mrow>
<mn>1</mn>
<mo>:</mo>
<mi>t</mi>
</mrow>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>z</mi>
<mrow>
<mn>1</mn>
<mo>:</mo>
<mi>t</mi>
</mrow>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
步骤3.2，分别将步骤3.1中全景图像A和全景图像B中目标下一时刻的预估计位置信息和颜色信息进行组合，得到全景图像A和全景图像B中目标下一时刻的状态；
将步骤3.1中预估计的全景图像A中目标下一时刻的颜色信息和位置信息组合，得到全景图像A中目标下一时刻的状态，具体为：
<mrow>
<msubsup>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>~</mo>
<msubsup>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>p</mi>
</msub>
</msubsup>
<msubsup>
<mi>&omega;</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>;</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，NP为全景图像A中的粒子数；
将步骤3.1中预估计的全景图像B中目标下一时刻的颜色信息和位置信息组合，得到全景图像B中目标下一时刻的预估计状态，具体为：
<mrow>
<msubsup>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>~</mo>
<msubsup>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<msup>
<msub>
<mi>N</mi>
<mi>p</mi>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
</msubsup>
<msubsup>
<mi>&omega;</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，NP’为全景图像B中的粒子数。
3.根据权利要求2所述的一种全景摄像机间运动目标的协同跟踪方法，其特征在于，步骤4具体为：
计算全景图像B中的目标点在全景摄像机C1中的对极曲线为：
<mrow>
<msubsup>
<mi>u</mi>
<mn>2</mn>
<mi>T</mi>
</msubsup>
<msub>
<mi>A</mi>
<mn>2</mn>
</msub>
<mo>(</mo>
<mrow>
<mi>E</mi>
<mo>,</mo>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
</mrow>
<mo>)</mo>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mn>0</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，u2是全景图像B中目标的位置坐标，u1是全景图像A中目标的位置坐标，是u2坐标的转置，A2(E,u1)是全景摄像机C2与全景摄像机C1之间的转换矩阵，按照以下方法计算：
<mrow>
<msub>
<mi>A</mi>
<mn>2</mn>
</msub>
<mo>(</mo>
<mrow>
<mi>E</mi>
<mo>,</mo>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
</mrow>
<mo>)</mo>
<mo>=</mo>
<msubsup>
<mi>K</mi>
<mn>2</mn>
<mrow>
<mo>-</mo>
<mi>T</mi>
</mrow>
</msubsup>
<msub>
<mi>R</mi>
<mrow>
<mi>c</mi>
<mn>2</mn>
</mrow>
</msub>
<msub>
<mi>B</mi>
<mn>2</mn>
</msub>
<msubsup>
<mi>R</mi>
<mrow>
<mi>c</mi>
<mn>2</mn>
</mrow>
<mi>T</mi>
</msubsup>
<msubsup>
<mi>K</mi>
<mn>2</mn>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，na＝[α，β，γ]T；
其中，E是本征矩阵；b2，K2，Rc2分别是全景摄像机C2的镜面参数、内部参数和旋转矩阵；na是极平面上的法向量；内部参数指图像平面与摄像机平面间的变换矩阵；α，β，γ分别代表法向量na中第一行、第二行和第三行坐标；
法向量na的计算方法具体为：
na＝FX2
(9)
其中，F是全景摄像机C1与全景摄像机C2之间的本质矩阵，与普通摄像机求取方法一样；X2是全景图像B中预估计点坐标u2在全景摄像机C2的镜面上投影所得的点坐标；
计算全景图像A中的目标点在全景摄像机C2中的对极曲线为：
<mrow>
<msubsup>
<mi>u</mi>
<mn>1</mn>
<mi>T</mi>
</msubsup>
<msub>
<mi>A</mi>
<mn>1</mn>
</msub>
<mo>(</mo>
<mrow>
<mi>E</mi>
<mo>,</mo>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
</mrow>
<mo>)</mo>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mn>0</mn>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，u1是全景图像A中预估计点的位置坐标，表示为[u',v',1]，其中u'是全景图像A中预估计点的横坐标，v'是全景图像A中预估计点的纵坐标，是u1坐标的转置，A1(E,u2)是全景摄像机C1与全景摄像机C2之间的转换矩阵，按照以下方法计算：
<mrow>
<msub>
<mi>A</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>E</mi>
<mo>,</mo>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>K</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mi>T</mi>
</mrow>
</msubsup>
<msub>
<mi>R</mi>
<mrow>
<mi>c</mi>
<mn>1</mn>
</mrow>
</msub>
<msub>
<mi>B</mi>
<mn>1</mn>
</msub>
<msubsup>
<mi>R</mi>
<mrow>
<mi>c</mi>
<mn>1</mn>
</mrow>
<mi>T</mi>
</msubsup>
<msubsup>
<mi>K</mi>
<mn>1</mn>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>11</mn>
<mo>)</mo>
</mrow>
</mrow>
3
其中，na'＝[α',β',γ']T；
其中，E是本征矩阵；b1，K1，Rc1分别是全景摄像机C1的镜面参数、内部参数和旋转矩阵；na'是极平面上的法向量；α',β',γ'分别代表法向量na'中第一行、第二行和第三行坐标；法向量na'的计算方法具体为：
na'＝FTX1
(12)
其中，FT是F的转置矩阵，FT代表全景摄像机C2与全景摄像机C1之间的本质矩阵；X1是全景图像A中预估计点坐标u1在全景摄像机C1镜面上投影所得的点坐标。
4.根据权利要求3所述的一种全景摄像机间运动目标的协同跟踪方法，其特征在于，步骤5中所述的协同控制开关条件为：
ξ≤θ1≤π，
(15)
其中，ξ根据摄像机重叠区域的边界与摄像机焦点的几何关系决定，取值为[0，π]，θ1为两个全景摄像机C1和C2的镜面焦点与物点之间的夹角。
5.根据权利要求4所述的一种全景摄像机间运动目标的协同跟踪方法，其特征在于，所述步骤5具体为：
步骤5.1，分别计算全景图像A和全景图像B中目标下一时刻的协同权重，并利用步骤3.1中所述的对全景图像A和全景图像B中目标下一时刻的颜色信息进行预估计的方法对全景图像A和全景图像B中目标下一时刻的颜色信息进行更新；
计算全景图像A中目标下一时刻的协同权重，具体为：
根据对极曲线对全景图像A中目标下一时刻的预估计位置进行校正，具体方法如下：
<mrow>
<mi>p</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>z</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>p</mi>
</msub>
</munderover>
<mfrac>
<msubsup>
<mi>&phi;</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<mi>p</mi>
</msub>
</msubsup>
<msubsup>
<mi>&phi;</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</mrow>
</msubsup>
</mrow>
</mfrac>
<mi>&delta;</mi>
<mo>(</mo>
<mrow>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>16</mn>
<mo>)</mo>
</mrow>
</mrow>
式中， 为狄拉克函数；
Np是全景图像A中所有粒子数；为全景摄像机C1中目标i的每个粒子与其对应的全景摄像机C2中的对极曲线的最短距离，具体按照以下方法计算：
<mrow>
<msubsup>
<mi>d</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>=</mo>
<mi>min</mi>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>-</mo>
<mi>h</mi>
<mo>(</mo>
<msubsup>
<mi>z</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>)</mo>
<mo>|</mo>
<mo>|</mo>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>17</mn>
<mo>)</mo>
</mrow>
</mrow>
为在目标i全景摄像机C2中的观测信息；为全景图像A中的目标i在全景摄像机C2中的对极曲线，这条对极曲线称之为宽带，是宽带的方差；∑φB是宽带的标准差；计算全景图像B中目标下一时刻的协同权重，具体为：
根据对极曲线对全景图像B中目标下一时刻的预估计位置进行校正，具体方法如下：
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>z</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>|</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mi>&Sigma;</mi>
<mrow>
<mi>n</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<msup>
<mi>p</mi>
<mo>&prime;</mo>
</msup>
</msub>
</munderover>
<mfrac>
<msubsup>
<mi>&phi;</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msub>
<mi>N</mi>
<msup>
<mi>p</mi>
<mo>&prime;</mo>
</msup>
</msub>
</msubsup>
<msubsup>
<mi>&phi;</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<msup>
<mi>n</mi>
<mo>&prime;</mo>
</msup>
</mrow>
</msubsup>
</mrow>
</mfrac>
<mi>&delta;</mi>
<mrow>
<mo>(</mo>
<mrow>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
</mrow>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
式中，为狄拉克函数，Np'是全景图像B中所有粒子数；为全景图像B中目标i的每个粒子与其对应的全景图像A中的对极曲线的最短距离，具体按照以下方法计算：
<mrow>
<msubsup>
<mi>d</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>=</mo>
<mi>min</mi>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>x</mi>
<mi>t</mi>
<mrow>
<mi>B</mi>
<mo>,</mo>
<mi>i</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
</msubsup>
<mo>-</mo>
<mi>h</mi>
<mo>(</mo>
<msubsup>
<mi>z</mi>
<mi>t</mi>
<mrow>
<mi>A</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msubsup>
<mo>)</mo>
<mo>|</mo>
<mo>|</mo>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>19</mn>
<mo>)</mo>
</mrow>
</mrow>
为在目标i全景图像A中的观测信息；为全景图像B中目标i在全景摄像机C1中的对极曲线，这条对极曲线称之为宽带，是宽带的方差；∑φA是宽带的标准方差；
分别利用步骤3.1中对全景图像A和全景图像B中目标下一时刻的颜色信息进行预估计的方法对全景图像A和全景图像B中下一时刻的颜色进行更新；
步骤5.2，分别将步骤5.1中计算的全景图像A和全景图像B中目标的协同权重和更新后的颜色信息组合，得到全景图像A和全景图像B中目标下一时刻的准确状态，实现全景图像A和全景图像B中目标的协同跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510021234.9A CN104574443B (zh) | 2015-01-15 | 2015-01-15 | 一种全景摄像机间运动目标的协同跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510021234.9A CN104574443B (zh) | 2015-01-15 | 2015-01-15 | 一种全景摄像机间运动目标的协同跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104574443A CN104574443A (zh) | 2015-04-29 |
| CN104574443B true CN104574443B (zh) | 2017-09-08 |
Family
ID=53090411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510021234.9A Expired - Fee Related CN104574443B (zh) | 2015-01-15 | 2015-01-15 | 一种全景摄像机间运动目标的协同跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104574443B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038714B (zh) * | 2017-04-17 | 2020-01-14 | 西安理工大学 | 多型视觉传感协同目标跟踪方法 |
| CN110047097B (zh) * | 2019-03-27 | 2019-11-29 | 深圳职业技术学院 | 一种多摄像机协同的目标持续跟踪方法 |
| EP3866110A1 (en) * | 2019-05-31 | 2021-08-18 | SZ DJI Technology Co., Ltd. | Target detection method, target detection apparatus and unmanned aerial vehicle |
| CN110225402B (zh) * | 2019-07-12 | 2022-03-04 | 青岛一舍科技有限公司 | 智能保持全景视频中兴趣目标时刻显示的方法及装置 |
| WO2021232222A1 (zh) * | 2020-05-19 | 2021-11-25 | 华为技术有限公司 | 用于测距的方法和装置 |
| CN113487647B (zh) * | 2020-11-20 | 2024-06-25 | 海信集团控股股份有限公司 | 一种目标跟踪方法、显示设备、电子设备及介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8896531B2 (en) * | 2008-04-24 | 2014-11-25 | Oblong Industries, Inc. | Fast fingertip detection for initializing a vision-based hand tracker |
| CN101894380B (zh) * | 2010-07-14 | 2012-11-28 | 北京航空航天大学 | 一种全景视频中目标物体的自动跟踪方法 |
| CN102156863B (zh) * | 2011-05-16 | 2012-11-14 | 天津大学 | 跨摄像头的多运动目标跟踪方法 |
| CN102291569B (zh) * | 2011-07-27 | 2013-04-10 | 上海交通大学 | 双摄像机自动协同多目标鹰眼观测系统及其观测方法 |
-
2015
- 2015-01-15 CN CN201510021234.9A patent/CN104574443B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN104574443A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104574443B (zh) | 一种全景摄像机间运动目标的协同跟踪方法 | |
| CN105245841B (zh) | 一种基于cuda的全景视频监控系统 | |
| Xu et al. | Flycap: Markerless motion capture using multiple autonomous flying cameras | |
| US9105093B2 (en) | Method and apparatus for bi-layer segmentation | |
| CN110490928A (zh) | 一种基于深度神经网络的相机姿态估计方法 | |
| CN105279769B (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
| CN104167016B (zh) | 一种基于rgb彩色与深度图像的三维运动重建方法 | |
| US20150243031A1 (en) | Method and device for determining at least one object feature of an object comprised in an image | |
| Tang et al. | ESTHER: Joint camera self-calibration and automatic radial distortion correction from tracking of walking humans | |
| CN112801074B (zh) | 一种基于交通摄像头的深度图估计方法 | |
| CN102609941A (zh) | 基于ToF深度相机的三维注册方法 | |
| Zhang et al. | Application of migration image registration algorithm based on improved SURF in remote sensing image mosaic | |
| CN106534833B (zh) | 一种联合空间时间轴的双视点立体视频稳定方法 | |
| Wang et al. | Outdoor markerless motion capture with sparse handheld video cameras | |
| CN104182968B (zh) | 宽基线多阵列光学探测系统模糊动目标分割方法 | |
| CN107038714A (zh) | 多型视觉传感协同目标跟踪方法 | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和系统 | |
| CN102609945A (zh) | 可见光和热红外图像序列自动配准方法 | |
| CN109064498A (zh) | 基于Meanshift、卡尔曼滤波和图像匹配的目标跟踪方法 | |
| CN112669280A (zh) | 一种基于lsd算法的无人机倾斜航拍直角像控点目标检测方法 | |
| CN103337082B (zh) | 基于统计形状先验的视频分割方法 | |
| CN103646397B (zh) | 基于多源数据融合的实时合成孔径透视成像方法 | |
| CN109462748A (zh) | 一种基于单应性矩阵的立体视频颜色校正算法 | |
| CN104809720A (zh) | 基于小交叉视场的两相机目标关联方法 | |
| CN108491752A (zh) | 一种基于手部分割卷积网络的手部姿态估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170908 Termination date: 20210115 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |