CN101751677A - 基于多摄像机的目标连续跟踪方法 - Google Patents
基于多摄像机的目标连续跟踪方法 Download PDFInfo
- Publication number
- CN101751677A CN101751677A CN200810240364A CN200810240364A CN101751677A CN 101751677 A CN101751677 A CN 101751677A CN 200810240364 A CN200810240364 A CN 200810240364A CN 200810240364 A CN200810240364 A CN 200810240364A CN 101751677 A CN101751677 A CN 101751677A
- Authority
- CN
- China
- Prior art keywords
- target
- zone
- moving target
- camera
- video camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000005516 engineering process Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 24
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 14
- 238000010606 normalization Methods 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开一种基于多摄像机的目标连续跟踪方法，基于多路视频，包括目标检测，目标跟踪，目标特征提取，计算到达区域和离开区域，计算摄像机区域连接关系，目标匹配、数据关联以及目标连续跟踪步骤。结合摄像机区域连接关系和目标匹配信息，判断摄像机下出现的目标是新出现目标还是其它摄像机下已出现过的目标，从而实现运动目标连续跟踪。基于多摄像机的目标连续跟踪对于提高网络化，大范围智能监控系统具有很重要的意义。用于大范围智能视觉监控，扩大监控区域，对多个摄像机采集到的大量数据进行自动的处理和分析。
Description
技术领域
本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是涉及基于多摄像机的目标连续跟踪的相关处理。
背景技术
目前，我国已经有相当数量的摄像机监控系统投入到实际应用中对各种环境、区域和场所进行实时监控。这些摄像机记录了大量的视频数据。而目前这些数据通常都是通过安排专人监看来实现监控的，由于这项工作的强度大，连续监视使人变得疲倦，对危机事件不敏感，从而容易出现疏漏的情况。为消除这些现存的弊端，迫切需要计算机能够在不需要人参与的情况下，通过对摄像机拍摄的图像序列中的运动目标和行为进行跟踪与识别，从而对异常事件自动做出预警，避免犯罪的发生。
智能视频监控技术正是计算机视觉和模式识别技术在视频监控的应用。智能视频监控技术通过自动分析理解视频中的内容，提供对监控和预警有用的关键信息。目前，智能视觉监控技术通常包括在单个摄像机下，对监控场景中的感兴趣目标即运动目标进行自动检测、跟踪及行为分析，实现对场景的实时监控。然而单个摄像机的视野范围有限，为了满足大范围监控的需要，就需要多个摄像机协同工作。随着摄像机数目的急剧增加，传统的基于人工的被动监控已经无法满足监控任务的需要，如何自动分析多个摄像机所拍摄的视频中的内容，真正意义上实现大范围监控仍然处在研究的初级阶段。
基于多摄像机的大范围智能视频监控的一个关键问题是如何利用空间上相邻的摄像机，扩大监控范围，对穿过多个摄像机视野范围的运动目标进行连续跟踪。其中多个摄像机的视野范围可能存在重叠区域，也可能存在非重叠区域。有重叠视野的多个摄像机是指多个摄像机的视野范围之间存在部分重叠。非重叠视野摄像机是指多个摄像机的视野范围之间存在一部分盲区，目标在这个盲区的运动无可预知，从而造成运动目标在空间和时间上的不连续。在实际应用中，为了覆盖大范围场景，出于安装成本等考虑，非重叠视野摄像机被广泛应用到监控系统中对各种环境、区域和场所进行监控。
目前多摄像机目标跟踪的相关研究主要集中在基于定标信息和基于单应(homography)约束的求解方法。基于定标信息的多摄像机目标跟踪的相关技术需要定标好的摄像机，这在实际情况中是不现实的，因为一旦摄像头的位置改变就需要对摄像机重新进行标定。基于定标信息和基于单应约束的求解方法都要求摄像机的视野范围之间存在重叠区域，从而限制了它在大范围智能视频监控系统中的应用。
基于多摄像机的大范围智能视频监控技术建立在单摄像机监控的基础之上，其主要技术包括对每一路视频中的感兴趣目标即运动目标进行目标检测及跟踪，接着对每一运动目标进行特征提取，结合摄像机的区域连接关系实现目标匹配，并通过相关数据关联技术实现目标在多路摄像机下的连续跟踪。
发明内容
为了解决现有技术的局限性，无法直接应用于大范围监控的问题，本发明公开一种基于多摄像机的目标连续跟踪方法，具体是指当运动目标离开一个摄像机的视野范围进入另一个摄像机的视野范围内时，识别该运动物体并对它进行唯一的标识，并交接目标检测和跟踪任务，实现运动目标在大范围场景内的连续跟踪。
为达成所述目的，本发明提供的基于多摄像机的目标连续跟踪方法，基于多路视频，包括目标检测，目标跟踪，目标特征提取，计算到达区域和离开区域，计算摄像机区域连接关系，目标匹配，数据关联以及目标连续跟踪过程，步骤如下：
步骤S1：对每一路摄像机所采集到的图像序列进行目标检测，用于得到运动目标；
步骤S2：采用卡尔曼滤波技术对每一个运动目标进行目标跟踪，用于得到该运动目标在每一路摄像机下完整的轨迹；
步骤S3：计算每一个运动目标图像区域的颜色直方图实现颜色特征提取和平均轮廓实现形状特征提取，用于得到该运动目标鲁棒的特征描述；
步骤S4：采用k-均值技术聚类运动目标轨迹的起始点位置和终止点位置，用于得到每路摄像机下的到达区域和离开区域；
步骤S5：通过经验或者视频数据确定每一路摄像机的到达区域以及离开区域和其它摄像机下的到达区域以及离开区域之间的连接关系；
步骤S6：根据摄像机区域之间的连接关系，将不同摄像机下的运动目标进行目标匹配，用于得到运动目标之间相似度；
步骤S7：根据运动目标之间的相似度信息以及时间信息，计算从第i个摄像机下离开的运动目标和从第j个摄像机下到达的运动目标之间的对应关系，实现数据关联；
步骤S8：对穿过多个摄像机的运动目标进行唯一的标识实现多摄像机下运动目标的连续跟踪。
本发明的有益效果：本发明结合运动目标检测、跟踪和匹配技术，根据摄像机区域连接关系，实现了运动目标在大范围场景内的连续跟踪。从而解决了单个摄像机视野范围有限，无法对大范围场景进行监控的问题。该方法在多个摄像机视野范围之间存在重叠区域和无重叠区域的情况下，都能对场景中的感兴趣目标即运动目标进行标识和跟踪。基于多摄像机的目标连续跟踪对于提高网络化，大范围智能监控系统具有很重要的意义。用于大范围智能视觉监控，扩大监控区域，对多个摄像机采集到的大量数据进行自动的处理和分析。
附图说明
图1示出基于多摄像机的目标连续跟踪方法流程图。
图2示出多个摄像机的位置关系示例。
图3示出运动目标检测流程图。
图4(a)、图4(b)示出运动目标检测的结果示例。
图5示出归一化后的运动目标所对应的前景区域。
图6示出运动目标跟踪流程。
图7(a)至图7(d)示出运动目标跟踪的结果示例。
图8示出目标特征提取流程图。
图9示出计算到达区域和离开区域流程图。
图10(a)、图10(b)示出摄像机的到达区域和离开区域示意图。
图11示出摄像机到达区域和离开区域之间的连接关系。
图12示出目标匹配和数据关联流程图。
图13(a)至图13(c)示出运动物体连续跟踪示意图。
图14示出目标连续跟踪流程图。
具体实施方式
下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
实现本发明方法需要的硬件最低配置为：在P43.0G CPU，512M内存的计算机；最低分辨率为320×240的监控摄像头；帧率为25帧每秒的多路视频采集卡。在此配置水平的硬件上，采用C++语言编程实现本方法，可以达到实时处理，其他方式不再赘述。
图1给出了基于多摄像机的目标连续跟踪方法流程图。包括摄像机1、摄像机2和摄像机N，首先对摄像机1-N中的感兴趣目标即运动目标进行目标检测，然后分别对每一路视频中的运动目标进行跟踪，得到每个场景下运动目标完整的轨迹。接着对每一运动目标进行特征提取，并计算摄像机1-N到达区域和离开区域，特征提取的结果结合摄像机1-N区域之间的连接关系实现目标匹配，最后通过相关数据关联技术实现目标在多路摄像机下的连续跟踪。
图2给出了多个摄像机的位置关系示例图。图2中包括两路室外摄像机为摄像机1和摄像机2，以及一路室内摄像机为摄像机3。图2中用虚线示出了每路摄像机的视野范围区域，其中摄像机1、摄像机2和摄像机3之间不存在重叠的视野范围区域。值得注意的是，图2仅给出多个摄像机位置关系的一个实例。摄像机的视野范围之间可存在非重叠区域，也可存在重叠区域。
图3给出了运动目标检测流程图，所述运动目标检测步骤如下：
步骤S11：对每一路摄像机所采集到的图像序列构建背景模型；
步骤S12：从图像序列中将变化区域从背景模型中提取出来，用于得到运动目标；
步骤S13：将得到的运动目标进行形态学操作和连通域分析，得到分割准确的运动目标。
在监控中，运动物体是监控的重点，运动目标检测的目的是从图像序列中将变化区域从背景图像中提取出来。混合高斯模型法对背景的自适应性高，并对亮度的变化、背景内物体的细微移动、慢速目标等具有良好的适应性，在本发明中，采用混合高斯模型方法对图像序列进行背景建模。混合高斯模型方法所得到的二值前景图像中包含一些噪音点和空洞。本发明采用中值滤波来去除噪声，另外采用形态学的腐蚀膨胀操作来去除前景图像中的空洞。
所提取的图像序列的前景区域大小为320×240。其中前景区域可能包含多个运动目标，通过连通域分析得到前景区域轮廓分割准确的运动目标，并将所有运动目标对应的前景区域和图像区域归一化到相同大小。
图4(a)和图4(b)给出了运动目标检测的结果示例，其图4(a)为原始图像序列，图4(b)为混合高斯模型后中值滤波和形态学操作得到的二值前景图像。图5为归一化后的运动目标所对应的前景区域。
图6给出了运动目标跟踪流程：
步骤S21：首先根据运动目标检测结果，求取上一帧中每个运动目标所对应的图像区域的质心位置，该运动目标用A来表示。
步骤S22：通过卡尔曼滤波预测由上一帧运动目标A的位置预测当前帧中的质心位置；
步骤S23：然后将预测值和当前帧每个运动目标B的质心位置的观测值进行比较；
步骤S24：计算运动目标A和运动目标B之间的欧式距离dist(A，B)。
步骤S25：若这是运动目标A第一次比较，保存dist(A，B)值到mindist以及相应运动目标B。若不是第一次比较，保存dist(A，B)和mindist的较小值到mindist以及相应运动目标B。
步骤S26：若mindist小于某个阈值T，则认为找到了上一帧中运动目标A在当前帧中的对应目标。将上一帧中运动目标的质心位置和当前帧中该目标的质心位置连接起来，得到目标轨迹。
步骤S27：若mindist大于某个阈值T，则运动目标B为新出现的运动目标或者运动目标A已从当前场景中消失。阈值T在实施例中为5个像素值，其它不再赘述。
图7(a)、图7(b)、图7(c)和图7(d)给出了运动目标跟踪的结果示例。图7(a)，(b)，(c)，(d)分别为图像序列的第132，211，247，316帧，图中对每一个运动目标分别进行标号，其中图7(a)示出标号为010、011，图7(b)示出标号为010、011；图7(c)示出标号为010、011；图7(d)示出标号为010、011，图中示出标号相同表明为同一个运动目标。
图8示出目标特征提取流程图，所述目标特征提取步骤如下：
步骤S31：将所有运动目标对应的图像区域以及相应前景区域归一化到相同大小；
步骤S32：计算每一个运动目标对应图像区域的颜色直方图实现颜色特征提取；
步骤S33：计算每一个运动目标对应图像区域的平均轮廓实现形状特征提取。
由于摄像机到运动目标的距离较远，分辨率较低，无法有效的提取运动目标的人脸特征和步态特征。本发明通过提取运动目标的颜色特征等表象(appearance)特征，从而有效的刻画运动目标，使得运动目标之间具有可区分性。其中颜色特征可包含颜色模版(color templates)、直方图(histogram)、矩(moments)、主颜色信息(dominant colors)等。形状特征可包含平均轮廓，形状上下文(shape context)等。需要注意的是，颜色特征和形状特征容易受到视角变化和光线变化的影响，所提取的特征应该对适度光照变化和视角变化鲁棒。可采用颜色恒常技术(color constancy)或者颜色归一化(color normalization)对运动目标进行预处理后再提取颜色特征。也可采用形状归一化技术(pose normalization)对运动目标的形状校正到同一姿态，再提取其形状特征。
图9示出计算到达区域和离开区域流程图。步骤S41：通过运动目标跟踪，可以获得每个场景下运动目标完整的轨迹。在一段时间内记录所有运动目标轨迹的起始点位置和终止点位置。步骤S42：采用k-均值技术聚类一段时间内所有运动目标的起始点位置和终止点位置的坐标值，从而得到每一路摄像机每个场景下的到达区域和离开区域。
图10(a)图10(b)示出了摄像机2和摄像机3中的到达区域和离开区域示意图。其中椭圆形区域示出运动目标的到达区域和离开区域，“+”表示轨迹的起点或者终点位置。需要注意的是同一个区域既可以是到达区域也可以是离开区域。若某个运动目标即将离开摄像机的视野范围，则轨迹终点所在区域为离开区域。若运动目标第一次出现在摄像机的视野范围下，则轨迹起点区域为到达区域。到达区域和离开区域也可通过经验确定。
所述计算摄像机区域之间的连接关系是：通过经验确定摄像机到达区域和离开区域之间的连接关系或者通过视频数据确定摄像机到达区域和离开区域之间的连接关系。图11示出了摄像机到达区域和离开区域之间的连接关系。图中包括：摄像机1的到达区域和离开区域为区域1、区域2、区域3和区域4，摄像机2的到达区域和离开区域为区域5、区域6和区域7；摄像机3的到达区域和离开区域为区域8、区域9和区域10；例如，区域6和区域10之间的连线表示，从区域6出去的运动目标一段时间后可能会出现在区域10中，即运动目标从摄像机2的视野范围中消失后，进入一个盲区，一段时间后可能会出现在摄像机3的视野范围下。摄像机到达区域和离开区域之间的连接关系可通过经验指定，也可通过视频数据以及目标匹配信息自动学习得到。通过视频数据自动学习得到摄像机到达区域和离开区域之间的连接关系的相关技术包括“Inference ofnon-overlapping camera network topology by measuring statisticaldependence”，Proceedings of International Conference on Computer Vision，2005，pp.1842-1849，“Bridging the Gaps between Cameras”，Proceedings ofComputer Vision and Pattern Recognition，2004，pp.205-210等。需要注意的是摄像机到达区域和离开区域之间的连接关系可能随着时间变化而变化，并且区域之间的连接关系不是双向的。例如上班时间，很少有运动目标穿过区域10到达区域6，所以区域10到区域6的连接不存在，然而区域6到区域10之间的连接存在。在下班时间，大部分运动目标穿过区域10后出现在区域6中。可以通过相关技术在线更新到达区域和离开区域之间的连接关系。区域10和区域6之间的连线表示，从区域10出去的运动目标一段时间后可能会出现在区域6中。区域2和区域5之间的连线表示，从区域2出去的运动目标一段时间后可能会出现在区域5中。区域5和区域2之间的连线表示，从区域5出去的运动目标一段时间后可能会出现在区域2中。区域2和区域10之间的连线表示，从区域2出去的运动目标一段时间后可能会出现在区域10中。区域10和区域2之间的连线表示，从区域10出去的运动目标一段时间后可能会出现在区域2中。
图12示出目标匹配和数据关联流程图，所述目标匹配步骤如下：
步骤S61：检验第i个摄像机下的离开区域和第j个摄像机下的到达区域之间是否存在连接关系；
步骤S62：如果存在此类连接关系，计算从第i个摄像机下离开区域出去的所有运动目标和从第j个摄像机的到达区域的所有运动目标之间的相似度。所述数据关联是根据运动目标之间的相似度信息以及时间信息，计算从第i个摄像机下离开的运动目标和从第j个摄像机下到达的运动目标之间的对应关系。
目标匹配过程计算了运动目标特征之间的相似度。数据关联过程得到运动目标在不同摄像机下的对应关系。计算得到摄像机到达区域和离开区域之间的连接关系之后，则不需要将某个运动物体和其他摄像机下出现的所有的运动物体进行目标匹配。例如，在图11中，对于每一个从区域6中离开的运动目标，经过一段时间后，不可能出现在区域2中，所以不需要匹配从区域6中离开的运动目标和区域2中的到达目标。而只需要匹配有着连接关系的区域中的出现和离开的运动目标，如对于每一个从区域6中离开的运动目标x1，我们只需将它与一段时间内到达区域10的运动目标x2进行匹配，即计算x1和x2之间相似度Sim(x1，x2)。利用摄像机离开区域和到达区域之间的连接关系信息进行目标匹配减少了目标匹配的次数，从而提高了算法效率并且减少了错误匹配的可能。运动目标x1和x2相似度的计算取决于其特征相似度Sim_app(x1，x2)和x1的离开时间t1以及x2的到达时间t2。特征相似度Sim_app(x1，x2)的计算取决于运动目标的特征提取形式。若运动目标x1的离开某个场景的时刻t1晚于它到达另一个场景的时刻t2，则这两个场景之间存在公共区域，即两路摄像机的视野范围之间存在重叠区域。由于摄像机是相邻的，若运动目标x2到达某个场景的时刻t2远大于运动目标x1离开某个场景的时刻t1，即t2-t1大于某个阈值T1，则x1和x2也不可能对应同一个运动目标。阈值T1在实施例中为2分钟。一般来说，若x1和x2对应同一个运动目标，t1和t2之间应满足一个时间关系。如t2-t1服从一个单高斯或者多高斯分布。给定运动目标x1的离开时刻t1和运动目标x2的到达时刻t2，从时间关系上度量x1和x2对应于同一个运动目标的概率为Sim_time(x1，x2，t2-t1)。在计算运动目标x1和x2的相似度时，一般可假设特征相似度Sim_app(x1，x2)和时间关系度量Sim_time(x1，x2，t2-t1)独立，则运动目标x1和x2的相似度可表示为：
Sim(x1，x2)＝Sim_app(x1，x2)*Sim_time(x1，x2，t2-t1)
得到目标匹配的结果之后就可以实现数据关联，即判断运动目标x1和x2是否对应于同一个运动物体。对于每个从离开区域1中离开的运动目标x1，计算符合时间关系的与所有到达区域2的运动目标x2的相似度，并且记录其最大值maxsim以及相应运动目标x2。若最大相似度maxsim大于某个阈值T2，则认为x2是x1在另一个摄像机下的对应目标。
图13(a)至图13(c)示出了运动物体连续跟踪示意图。根据数据关联步骤，即可得到运动目标在多个摄像机下的对应关系。其中运动目标001穿过摄像机1和摄像机2的视野范围最终出现在了摄像机3的视野范围下，标号相同表明为同一个运动目标。
图14示出目标连续跟踪流程图，所述目标连续跟踪步骤如下：
步骤S81：根据运动目标之间的对应关系对穿越多个摄像机视野范围的运动目标进行唯一的标识；
步骤S82：交接运动目标的检测以及跟踪任务。
图13中，当运动目标001穿越摄像机1的视野范围到达摄像机2的视野范围内时，对运动目标进行唯一的标识并将运动目标的检测以及跟踪任务由摄像机1传递到摄像机2下，即由摄像机2下的目标检测和跟踪模块接管相应检测、跟踪任务。相应的，当运动目标抵达摄像机3的视野范围内时，由摄像机3的检测和跟踪模块接管相应任务。010为运动目标002在第一个摄像机下的标号，011为运动目标001在第一个摄像机下的标号，035为运动目标001在第二个摄像机下的标号，085为运动目标001在第三个摄像机下的标号，081为运动目标003在第三个摄像机下的标号。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (9)
1.一种基于多摄像机的目标连续跟踪方法，基于多路视频，其特征在于，包括目标检测，目标跟踪，目标特征提取，计算到达区域和离开区域，计算摄像机区域连接关系，目标匹配、数据关联和目标连续跟踪步骤，步骤如下：
步骤S1：对每一路摄像机所采集到的图像序列进行目标检测，用于得到运动目标；
步骤S2：采用卡尔曼滤波技术对每一个运动目标进行目标跟踪，用于得到该运动目标在每一路摄像机下完整的轨迹；
步骤S3：计算每一个运动目标图像区域的颜色直方图实现颜色特征提取和平均轮廓实现形状特征提取，用于得到该运动目标鲁棒的特征描述；
步骤S4：采用k-均值技术聚类运动目标轨迹的起始点位置和终止点位置，用于得到每路摄像机下的到达区域和离开区域；
步骤S5：通过经验或者视频数据确定每一路摄像机的到达区域以及离开区域和其它摄像机下的到达区域以及离开区域之间的连接关系；
步骤S6：根据摄像机区域之间的连接关系，将不同摄像机下的运动目标进行目标匹配，用于得到运动目标之间相似度；
步骤S7：根据运动目标之间的相似度信息以及时间信息，计算从第i个摄像机下离开的运动目标和从第j个摄像机下到达的运动目标之间的对应关系，实现数据关联；
步骤S8：对穿过多个摄像机的运动目标进行唯一的标识实现多摄像机下运动目标的连续跟踪。
2.按权利要求1所述的基于多摄像机的目标连续跟踪方法，其特征在于：所述运动目标检测步骤如下：
步骤S11：对每一路摄像机所采集到的图像序列构建背景模型；
步骤S12：从图像序列中将变化区域从背景模型中提取出来，用于得到运动目标；
步骤S13：将得到的运动目标进行形态学操作和连通域分析，得到分割准确的运动目标。
3.按权利要求1所述的基于多摄像机的目标连续跟踪方法，其特征在于：所述目标跟踪步骤如下：
步骤S21：根据运动目标检测结果，计算上一帧中运动目标A所对应图像区域的质心位置；
步骤S22：根据卡尔曼滤波预测运动目标A在当前帧中的质心位置；
步骤S23：对于当前帧中每个运动目标B，计算运动目标B所对应图像区域的质心位置；
步骤S24：计算运动目标A和运动目标B之间的欧式距离dist；
步骤S25：若这是运动目标A第一次比较，保存dist(A，B)值到mindist以及相应运动目标B；若不是第一次比较，保存dist(A，B)和mindist的较小值到mindist以及相应运动目标B；
步骤S26：若mindist小于某个阈值T，连接运动目标在图像序列中的质心位置，得到该运动目标在每一路视频中的完整轨迹序列；
步骤S27：若mindist大于某个阈值T，则B为新出现的运动目标或者A已从当前场景中消失。
4.按权利要求1所述的基于多摄像机的目标连续跟踪方法，其特征在于：所述目标特征提取步骤如下：
步骤S31：将所有运动目标对应的图像区域以及相应前景区域归一化到相同大小；
步骤S32：计算每一个运动目标对应图像区域的颜色直方图实现颜色特征提取；
步骤S33：计算每一个运动目标对应图像区域的平均轮廓实现形状特征提取。
5.按权利要求1所述的基于多摄像机的目标连续跟踪方法，其特征在于：所述计算到达区域和离开区域步骤如下：
步骤S41：根据目标跟踪所得到的轨迹序列提取运动目标轨迹的起始点位置和终止点位置；
步骤S42：采用k-均值技术聚类一段时间内所有运动目标的起始点位置和终止点位置，得到每一路摄像机下的到达区域和离开区域。
6.按权利要求1所述的基于多摄像机的目标连续跟踪方法，其特征在于：所述计算摄像机区域之间的连接关系是：通过经验确定摄像机到达区域和离开区域之间的连接关系或者通过视频数据确定摄像机到达区域和离开区域之间的连接关系。
7.按权利要求1所述的基于多摄像机的目标连续跟踪方法，其特征在于：所述目标匹配步骤如下：
步骤S61：检验第i个摄像机下的离开区域和第j个摄像机下的到达区域之间是否存在连接关系；
步骤S62：如果存在此类连接关系，计算从第i个摄像机下离开区域出去的所有运动目标和从第j个摄像机的到达区域的所有运动目标之间的相似度。
8.按权利要求1所述的基于多摄像机的目标连续跟踪方法，其特征在于：所述数据关联是根据运动目标之间的相似度信息以及时间信息，计算从第i个摄像机下离开的运动目标和从第j个摄像机下到达的运动目标之间的对应关系。
9.按权利要求1所述的基于多摄像机的目标连续跟踪方法，其特征在于：所述目标连续跟踪步骤如下：
步骤S81：根据运动目标之间的对应关系对穿越多个摄像机视野范围的运动目标进行唯一的标识；
步骤S82：交接运动目标的检测以及跟踪任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810240364 CN101751677B (zh) | 2008-12-17 | 2008-12-17 | 基于多摄像机的目标连续跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810240364 CN101751677B (zh) | 2008-12-17 | 2008-12-17 | 基于多摄像机的目标连续跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101751677A true CN101751677A (zh) | 2010-06-23 |
| CN101751677B CN101751677B (zh) | 2013-01-02 |
Family
ID=42478620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200810240364 Expired - Fee Related CN101751677B (zh) | 2008-12-17 | 2008-12-17 | 基于多摄像机的目标连续跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101751677B (zh) |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102176246A (zh) * | 2011-01-30 | 2011-09-07 | 西安理工大学 | 一种多相机目标接力跟踪系统的相机接力关系确定方法 |
| CN102736079A (zh) * | 2012-07-10 | 2012-10-17 | 中国船舶重工集团公司第七二四研究所 | 一种船舶交通导航系统对穿越桥梁状态下的船舶跟踪实现方法 |
| CN104008371A (zh) * | 2014-05-22 | 2014-08-27 | 南京邮电大学 | 一种基于多摄像机的区域可疑目标跟踪与识别方法 |
| CN104038729A (zh) * | 2014-05-05 | 2014-09-10 | 重庆大学 | 级联式多摄像机接力跟踪方法及系统 |
| CN104079872A (zh) * | 2014-05-16 | 2014-10-01 | 大连理工大学 | 基于内容的视频图像处理和人机交互方法 |
| CN104123732A (zh) * | 2014-07-14 | 2014-10-29 | 中国科学院信息工程研究所 | 一种基于多摄像头的在线目标跟踪方法及系统 |
| CN104284145A (zh) * | 2013-07-11 | 2015-01-14 | 松下电器产业株式会社 | 跟踪辅助装置、跟踪辅助系统和跟踪辅助方法 |
| CN104299236A (zh) * | 2014-10-20 | 2015-01-21 | 中国科学技术大学先进技术研究院 | 一种基于场景标定结合插值的目标定位方法 |
| CN104376577A (zh) * | 2014-10-21 | 2015-02-25 | 南京邮电大学 | 基于粒子滤波的多摄像头多目标跟踪算法 |
| CN104463900A (zh) * | 2014-12-31 | 2015-03-25 | 天津汉光祥云信息科技有限公司 | 一种多摄像机间目标自动追踪方法 |
| CN104539909A (zh) * | 2015-01-15 | 2015-04-22 | 安徽大学 | 一种视频监控方法及视频监控服务器 |
| CN104881637A (zh) * | 2015-05-09 | 2015-09-02 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于传感信息及目标追踪的多模信息系统及其融合方法 |
| CN105184829A (zh) * | 2015-08-28 | 2015-12-23 | 华中科技大学 | 一种紧密空间目标检测和高精度质心定位方法 |
| CN105741325A (zh) * | 2016-03-15 | 2016-07-06 | 上海电气集团股份有限公司 | 一种跟踪移动目标的方法及移动目标跟踪设备 |
| CN106778746A (zh) * | 2016-12-23 | 2017-05-31 | 成都赫尔墨斯科技有限公司 | 一种多目标反无人机方法 |
| CN106934326A (zh) * | 2015-12-29 | 2017-07-07 | 同方威视技术股份有限公司 | 用于安全检查的方法、系统和设备 |
| CN107065586A (zh) * | 2017-05-23 | 2017-08-18 | 中国科学院自动化研究所 | 交互式智能家庭服务系统及方法 |
| CN107493441A (zh) * | 2016-06-12 | 2017-12-19 | 杭州海康威视数字技术股份有限公司 | 一种摘要视频生成方法及装置 |
| CN108399411A (zh) * | 2018-02-26 | 2018-08-14 | 北京三快在线科技有限公司 | 一种多摄像头识别方法及装置 |
| CN109427074A (zh) * | 2017-08-31 | 2019-03-05 | 深圳富泰宏精密工业有限公司 | 影像分析系统及方法 |
| CN109565563A (zh) * | 2016-08-09 | 2019-04-02 | 索尼公司 | 多相机系统、相机、相机的处理方法、确认装置以及确认装置的处理方法 |
| CN110047097A (zh) * | 2019-03-27 | 2019-07-23 | 深圳职业技术学院 | 一种多摄像机协同的目标持续跟踪方法 |
| CN110110670A (zh) * | 2019-05-09 | 2019-08-09 | 杭州电子科技大学 | 基于Wasserstein度量的行人跟踪中的数据关联方法 |
| CN110322471A (zh) * | 2019-07-18 | 2019-10-11 | 华中科技大学 | 全景视频浓缩的方法、装置、设备及存储介质 |
| CN110717474A (zh) * | 2019-10-18 | 2020-01-21 | 北京百度网讯科技有限公司 | 目标关联计算方法、装置、设备和介质 |
| CN107341819B (zh) * | 2017-05-09 | 2020-04-28 | 深圳市速腾聚创科技有限公司 | 目标跟踪方法及存储介质 |
| CN111402286A (zh) * | 2018-12-27 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 一种目标跟踪方法、装置、系统及电子设备 |
| CN111860352A (zh) * | 2020-07-23 | 2020-10-30 | 上海高重信息科技有限公司 | 一种多镜头车辆轨迹全跟踪系统及方法 |
| CN112200841A (zh) * | 2020-09-30 | 2021-01-08 | 杭州海宴科技有限公司 | 一种基于行人体态的跨域多摄像头跟踪方法和装置 |
| CN112861971A (zh) * | 2021-02-07 | 2021-05-28 | 启迪云控(上海)汽车科技有限公司 | 一种跨点位的路侧感知目标跟踪方法及系统 |
| CN112906452A (zh) * | 2020-12-10 | 2021-06-04 | 叶平 | 羚牛水鹿自动识别跟踪统计方法及系统 |
| CN113473091A (zh) * | 2021-07-09 | 2021-10-01 | 杭州海康威视数字技术股份有限公司 | 摄像机关联方法、装置、系统、电子设备及存储介质 |
| CN113793362A (zh) * | 2021-09-22 | 2021-12-14 | 清华大学 | 基于多镜头视频的行人轨迹提取方法和装置 |
| CN113838101A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种适用于具有重叠视野的摄像机网络下的目标追踪方法 |
| CN114245024A (zh) * | 2022-02-25 | 2022-03-25 | 深圳市雷影光电科技有限公司 | 一种光学摄像机采集控制系统及方法 |
| CN114359594A (zh) * | 2022-03-17 | 2022-04-15 | 杭州觅睿科技股份有限公司 | 一种场景匹配方法、装置、电子设备和存储介质 |
| CN115578694A (zh) * | 2022-11-18 | 2023-01-06 | 合肥英特灵达信息技术有限公司 | 一种视频分析算力调度方法、系统、电子设备及存储介质 |
| CN116168421A (zh) * | 2023-04-13 | 2023-05-26 | 微网优联科技(成都)有限公司 | 一种基于ipc网络摄像机的目标追踪方法及系统 |
| CN116486438A (zh) * | 2023-06-20 | 2023-07-25 | 苏州浪潮智能科技有限公司 | 一种人员轨迹的检测方法、装置、系统、设备及存储介质 |
-
2008
- 2008-12-17 CN CN 200810240364 patent/CN101751677B/zh not_active Expired - Fee Related
Cited By (56)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102176246A (zh) * | 2011-01-30 | 2011-09-07 | 西安理工大学 | 一种多相机目标接力跟踪系统的相机接力关系确定方法 |
| CN102736079A (zh) * | 2012-07-10 | 2012-10-17 | 中国船舶重工集团公司第七二四研究所 | 一种船舶交通导航系统对穿越桥梁状态下的船舶跟踪实现方法 |
| CN104284145B (zh) * | 2013-07-11 | 2017-09-26 | 松下电器产业株式会社 | 跟踪辅助装置、跟踪辅助系统和跟踪辅助方法 |
| CN104284145A (zh) * | 2013-07-11 | 2015-01-14 | 松下电器产业株式会社 | 跟踪辅助装置、跟踪辅助系统和跟踪辅助方法 |
| CN104038729A (zh) * | 2014-05-05 | 2014-09-10 | 重庆大学 | 级联式多摄像机接力跟踪方法及系统 |
| CN104079872A (zh) * | 2014-05-16 | 2014-10-01 | 大连理工大学 | 基于内容的视频图像处理和人机交互方法 |
| CN104008371B (zh) * | 2014-05-22 | 2017-02-15 | 南京邮电大学 | 一种基于多摄像机的区域可疑目标跟踪与识别方法 |
| CN104008371A (zh) * | 2014-05-22 | 2014-08-27 | 南京邮电大学 | 一种基于多摄像机的区域可疑目标跟踪与识别方法 |
| CN104123732A (zh) * | 2014-07-14 | 2014-10-29 | 中国科学院信息工程研究所 | 一种基于多摄像头的在线目标跟踪方法及系统 |
| CN104299236A (zh) * | 2014-10-20 | 2015-01-21 | 中国科学技术大学先进技术研究院 | 一种基于场景标定结合插值的目标定位方法 |
| CN104299236B (zh) * | 2014-10-20 | 2018-02-27 | 中国科学技术大学先进技术研究院 | 一种基于场景标定结合插值的目标定位方法 |
| CN104376577A (zh) * | 2014-10-21 | 2015-02-25 | 南京邮电大学 | 基于粒子滤波的多摄像头多目标跟踪算法 |
| CN104463900A (zh) * | 2014-12-31 | 2015-03-25 | 天津汉光祥云信息科技有限公司 | 一种多摄像机间目标自动追踪方法 |
| CN104539909A (zh) * | 2015-01-15 | 2015-04-22 | 安徽大学 | 一种视频监控方法及视频监控服务器 |
| CN104881637B (zh) * | 2015-05-09 | 2018-06-19 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于传感信息及目标追踪的多模信息系统及其融合方法 |
| CN104881637A (zh) * | 2015-05-09 | 2015-09-02 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于传感信息及目标追踪的多模信息系统及其融合方法 |
| CN105184829B (zh) * | 2015-08-28 | 2017-12-12 | 华中科技大学 | 一种紧密空间目标检测和高精度质心定位方法 |
| CN105184829A (zh) * | 2015-08-28 | 2015-12-23 | 华中科技大学 | 一种紧密空间目标检测和高精度质心定位方法 |
| CN106934326A (zh) * | 2015-12-29 | 2017-07-07 | 同方威视技术股份有限公司 | 用于安全检查的方法、系统和设备 |
| CN105741325B (zh) * | 2016-03-15 | 2019-09-03 | 上海电气集团股份有限公司 | 一种跟踪移动目标的方法及移动目标跟踪设备 |
| CN105741325A (zh) * | 2016-03-15 | 2016-07-06 | 上海电气集团股份有限公司 | 一种跟踪移动目标的方法及移动目标跟踪设备 |
| CN107493441A (zh) * | 2016-06-12 | 2017-12-19 | 杭州海康威视数字技术股份有限公司 | 一种摘要视频生成方法及装置 |
| CN107493441B (zh) * | 2016-06-12 | 2020-03-06 | 杭州海康威视数字技术股份有限公司 | 一种摘要视频生成方法及装置 |
| US11323679B2 (en) | 2016-08-09 | 2022-05-03 | Sony Group Corporation | Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus |
| CN109565563A (zh) * | 2016-08-09 | 2019-04-02 | 索尼公司 | 多相机系统、相机、相机的处理方法、确认装置以及确认装置的处理方法 |
| US11025877B2 (en) | 2016-08-09 | 2021-06-01 | Sony Corporation | Multi-camera system, camera, processing method of camera, confirmation apparatus, and processing method of confirmation apparatus |
| CN106778746A (zh) * | 2016-12-23 | 2017-05-31 | 成都赫尔墨斯科技有限公司 | 一种多目标反无人机方法 |
| CN107341819B (zh) * | 2017-05-09 | 2020-04-28 | 深圳市速腾聚创科技有限公司 | 目标跟踪方法及存储介质 |
| CN107065586A (zh) * | 2017-05-23 | 2017-08-18 | 中国科学院自动化研究所 | 交互式智能家庭服务系统及方法 |
| CN107065586B (zh) * | 2017-05-23 | 2020-02-07 | 中国科学院自动化研究所 | 交互式智能家庭服务系统及方法 |
| CN109427074A (zh) * | 2017-08-31 | 2019-03-05 | 深圳富泰宏精密工业有限公司 | 影像分析系统及方法 |
| CN108399411A (zh) * | 2018-02-26 | 2018-08-14 | 北京三快在线科技有限公司 | 一种多摄像头识别方法及装置 |
| CN111402286B (zh) * | 2018-12-27 | 2024-04-02 | 杭州海康威视系统技术有限公司 | 一种目标跟踪方法、装置、系统及电子设备 |
| CN111402286A (zh) * | 2018-12-27 | 2020-07-10 | 杭州海康威视系统技术有限公司 | 一种目标跟踪方法、装置、系统及电子设备 |
| CN110047097A (zh) * | 2019-03-27 | 2019-07-23 | 深圳职业技术学院 | 一种多摄像机协同的目标持续跟踪方法 |
| CN110047097B (zh) * | 2019-03-27 | 2019-11-29 | 深圳职业技术学院 | 一种多摄像机协同的目标持续跟踪方法 |
| CN110110670A (zh) * | 2019-05-09 | 2019-08-09 | 杭州电子科技大学 | 基于Wasserstein度量的行人跟踪中的数据关联方法 |
| CN110322471B (zh) * | 2019-07-18 | 2021-02-19 | 华中科技大学 | 全景视频浓缩的方法、装置、设备及存储介质 |
| CN110322471A (zh) * | 2019-07-18 | 2019-10-11 | 华中科技大学 | 全景视频浓缩的方法、装置、设备及存储介质 |
| CN110717474A (zh) * | 2019-10-18 | 2020-01-21 | 北京百度网讯科技有限公司 | 目标关联计算方法、装置、设备和介质 |
| CN110717474B (zh) * | 2019-10-18 | 2022-07-26 | 阿波罗智能技术(北京)有限公司 | 目标关联计算方法、装置、设备和介质 |
| CN111860352A (zh) * | 2020-07-23 | 2020-10-30 | 上海高重信息科技有限公司 | 一种多镜头车辆轨迹全跟踪系统及方法 |
| CN111860352B (zh) * | 2020-07-23 | 2024-03-01 | 青岛高重信息科技有限公司 | 一种多镜头车辆轨迹全跟踪系统及方法 |
| CN112200841A (zh) * | 2020-09-30 | 2021-01-08 | 杭州海宴科技有限公司 | 一种基于行人体态的跨域多摄像头跟踪方法和装置 |
| CN112906452A (zh) * | 2020-12-10 | 2021-06-04 | 叶平 | 羚牛水鹿自动识别跟踪统计方法及系统 |
| CN112861971A (zh) * | 2021-02-07 | 2021-05-28 | 启迪云控(上海)汽车科技有限公司 | 一种跨点位的路侧感知目标跟踪方法及系统 |
| CN113473091A (zh) * | 2021-07-09 | 2021-10-01 | 杭州海康威视数字技术股份有限公司 | 摄像机关联方法、装置、系统、电子设备及存储介质 |
| CN113793362A (zh) * | 2021-09-22 | 2021-12-14 | 清华大学 | 基于多镜头视频的行人轨迹提取方法和装置 |
| CN113793362B (zh) * | 2021-09-22 | 2024-05-07 | 清华大学 | 基于多镜头视频的行人轨迹提取方法和装置 |
| CN113838101A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种适用于具有重叠视野的摄像机网络下的目标追踪方法 |
| CN114245024A (zh) * | 2022-02-25 | 2022-03-25 | 深圳市雷影光电科技有限公司 | 一种光学摄像机采集控制系统及方法 |
| CN114359594A (zh) * | 2022-03-17 | 2022-04-15 | 杭州觅睿科技股份有限公司 | 一种场景匹配方法、装置、电子设备和存储介质 |
| CN115578694A (zh) * | 2022-11-18 | 2023-01-06 | 合肥英特灵达信息技术有限公司 | 一种视频分析算力调度方法、系统、电子设备及存储介质 |
| CN116168421A (zh) * | 2023-04-13 | 2023-05-26 | 微网优联科技(成都)有限公司 | 一种基于ipc网络摄像机的目标追踪方法及系统 |
| CN116486438A (zh) * | 2023-06-20 | 2023-07-25 | 苏州浪潮智能科技有限公司 | 一种人员轨迹的检测方法、装置、系统、设备及存储介质 |
| CN116486438B (zh) * | 2023-06-20 | 2023-11-03 | 苏州浪潮智能科技有限公司 | 一种人员轨迹的检测方法、装置、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101751677B (zh) | 2013-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101751677B (zh) | 基于多摄像机的目标连续跟踪方法 | |
| Kim et al. | Fast and robust algorithm of tracking multiple moving objects for intelligent video surveillance systems | |
| CN102436662B (zh) | 一种非重叠视域多摄像机网络中的人体目标跟踪方法 | |
| CN108055501A (zh) | 一种目标检测及跟踪的视频监控系统及方法 | |
| CN101635835A (zh) | 智能视频监控方法及系统 | |
| CN102819847B (zh) | 基于ptz移动摄像头的运动轨迹提取方法 | |
| CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位系统 | |
| CN103279791B (zh) | 基于多特征的行人计算方法 | |
| CN109101944B (zh) | 一种识别向河道内抛投垃圾的实时视频监控方法 | |
| CN100555348C (zh) | 银行自助设备智能视频监控系统 | |
| CN101389004A (zh) | 一种基于在线学习的运动目标分类方法 | |
| CN101344965A (zh) | 基于双目摄像的跟踪系统 | |
| CN102065275B (zh) | 智能视频监控系统中多目标跟踪方法 | |
| CN103997624A (zh) | 重叠域双摄像头目标跟踪系统及方法 | |
| CN103208126A (zh) | 一种自然环境下运动物体监测方法 | |
| CN105426820A (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
| Karpagavalli et al. | Estimating the density of the people and counting the number of people in a crowd environment for human safety | |
| CN104200466A (zh) | 一种预警方法及摄像机 | |
| CN112532927A (zh) | 一种施工现场智能安全管控系统 | |
| CN109948474A (zh) | Ai热成像全天候智能监控方法 | |
| TW201904265A (zh) | 異常運動偵測方法及系統 | |
| CN103426008A (zh) | 基于在线机器学习的视觉人手跟踪方法及系统 | |
| CN103888731A (zh) | 枪机-球机混合视频监控的结构化描述装置及系统 | |
| Berclaz et al. | Multi-camera tracking and atypical motion detection with behavioral maps | |
| Kurniawan et al. | People detection and tracking methods for intelligent surveillance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130102 Termination date: 20211217 |