CN113838101B - 一种适用于具有重叠视野的摄像机网络下的目标追踪方法 - Google Patents

一种适用于具有重叠视野的摄像机网络下的目标追踪方法 Download PDF

Info

Publication number
CN113838101B
CN113838101B CN202111410923.0A CN202111410923A CN113838101B CN 113838101 B CN113838101 B CN 113838101B CN 202111410923 A CN202111410923 A CN 202111410923A CN 113838101 B CN113838101 B CN 113838101B
Authority
CN
China
Prior art keywords
camera
target
value
node
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111410923.0A
Other languages
English (en)
Other versions
CN113838101A (zh
Inventor
李超
荆月青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202111410923.0A priority Critical patent/CN113838101B/zh
Publication of CN113838101A publication Critical patent/CN113838101A/zh
Application granted granted Critical
Publication of CN113838101B publication Critical patent/CN113838101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于摄像机网络及目标跟踪应用技术领域，涉及一种适用于具有重叠视野的摄像机网络下的目标追踪方法，首先，利用相关滤波算法在单个摄像机上追踪目标；然后验证目标是否在当前摄像机的视野边缘，不在视野边缘则继续用相关滤波追踪目标，在视野边缘则根据摄像机的位置找出下一时刻拥有目标视野的摄像机，并利用粒子滤波校准目标在下一时刻上的摄像机的位置；最后在当前摄像机继续利用相关滤波追踪目标。本发明有效的减小了带宽和计算量，使系统可以在多摄像机环境中应用，能够在提高跟踪精度的同时，提升方法的鲁棒性。

Description

一种适用于具有重叠视野的摄像机网络下的目标追踪方法
技术领域
本发明属于摄像机网络及目标跟踪应用技术领域，涉及一种适用于具有重叠视野的摄像机网络下的目标追踪方法。
背景技术
随着传感器的可获得性越来越简单，摄像机被布置在了城市的每一个角落。摄像机网络常被用于区域监控，灾难响应，环境监控等等。多个相机拥有更多的视野，拥有更大的监测范围，但是如何更好的利用多个相机的数据，是一个重要的问题。传统的利用多个相机数据的方法主要分为两类：分布式和集中式。其中集中式是多个相机的数据传输到一个运算中心，由运算中心对各个传感器的数据加以运算，从中得到目标的数据。这样做虽然从数据运算上来说是优秀的，毕竟没有出现数据丢失的现象。但是带宽有限，很难同时传输多个相机的数据，并且多个数据传输到一个运算中心会需要更多的计算量，很难保证同步追踪。如果运算中心出现故障，则整个追踪系统彻底瘫痪。而分布式目标追踪利用加权的平均一致性算法并结合目标追踪算法，使每个传感器都是一个运算中心。数据之间的传输也是在邻居之间，不用每一个传感器节点都传输数据到每一个节点。分布式相比集中式而言鲁棒性更高。然而，传统的分布式目标追踪方法并不能有效解决朴素节点，计算量，能耗，帧异步问题。
传统的分布式目标追踪方法为了得到较为准确的精度迫使每一个相机节点都在每时每刻的接收并计算来自其它节点的信息，必须达到一致性之后才能进行下一步的操作，因此衍生了很多问题。比如在较多相机节点的摄像机网络中，一致性就需要一些时间去达到。不仅仅是一致性问题，同时计算来自多个相机节点的数据就相对于传统的目标追踪算法而言也会需要一些时间。而这些时间就可能导致异步问题，这就很大概率会得到错误的追踪结果。由于相机节点一直都在进行复杂的计算，能耗是一个待优化的问题。传统的分布式目标追踪不能有效缓解朴素节点问题，在精度上还有很大的提升空间。由于传统分布式目标追踪算法的各个环节都需要一些时间，这些时间加在一起就变得不可忽略，将产生不同相机节点之间的帧的计算不同步。以上所提的问题限制了传统的分布式目标追踪算法得应用范围。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种适用于具有重叠视野的摄像机网络下的目标追踪方法，利用相关滤波，粒子滤波以及摄像机之间的位置关系对目标进行追踪；摄像机之间通过通信进行信息交互，然后利用平均一致性方法对摄像机的信息进行分布式数据融合；最后通过多次迭代得到稳定的结果，保证对处在摄像机网络下的目标在每一时刻都会有一个摄像机追踪到目标，从而实现摄像机网络中的目标跟踪，解决现有目标跟踪方法中的由于使用集中式的处理方式而不能应用于大规模系统中的问题和分布式的低实时性的问题，其具体技术方案如下：
一种适用于具有重叠视野的摄像机网络下的目标追踪方法，包括以下步骤：
步骤1、从各个摄像机中得到监控视频，然后根据给出的目标初始位置，找出一个 具有目标视野的摄像机
Figure 173870DEST_PATH_IMAGE001
；
步骤2、在摄像机
Figure 887748DEST_PATH_IMAGE001
上，运行相关滤波算法对目标进行追踪；
步骤3、判断当前时刻目标是否在摄像机
Figure 74010DEST_PATH_IMAGE001
的视野边缘：
若不在边缘，则继续运行相关滤波算法对目标进行追踪；
若在边缘，则根据摄像机
Figure 639858DEST_PATH_IMAGE001
的位置找出下一时刻拥有目标视野的摄像机
Figure 250968DEST_PATH_IMAGE002
，并利用 粒子滤波算法校准目标在下一时刻的摄像机
Figure 745535DEST_PATH_IMAGE002
上的位置；
步骤4、摄像机
Figure 419093DEST_PATH_IMAGE002
根据校准后的目标坐标，继续利用相关滤波算法跟踪目标。
进一步的，所述相关滤波算法是是对感兴趣得目标产生高响应，对背景产生低响应，具体表达式如下：
Figure 414731DEST_PATH_IMAGE003
（1）
Figure 490134DEST_PATH_IMAGE004
（2）
其中，
Figure 919716DEST_PATH_IMAGE005
表示求得的响应值，根据求得的响应值，找出响应值中最大的数的位 置，然后根据前一时刻的位置和响应值中最大数的位置求当前时刻目标的位置；
Figure 205204DEST_PATH_IMAGE006
表 示正在训练的图片块，
Figure 879899DEST_PATH_IMAGE007
表示
Figure 75388DEST_PATH_IMAGE008
和
Figure 911757DEST_PATH_IMAGE009
的核相关，exp表示以自然数e为底的指数函数，
Figure 950120DEST_PATH_IMAGE010
表 示回归的目标，
Figure 661462DEST_PATH_IMAGE011
表示测试的图片块，
Figure 711457DEST_PATH_IMAGE012
表示离散傅里叶变换，
Figure 577782DEST_PATH_IMAGE013
表示卷积操作，
Figure 978808DEST_PATH_IMAGE014
表示 逆离散傅里叶变换，
Figure 464147DEST_PATH_IMAGE015
表示范数，
Figure 758862DEST_PATH_IMAGE016
表示
Figure 435569DEST_PATH_IMAGE008
的复共轭。
进一步的，所述判断当前时刻目标是否在摄像机
Figure 917366DEST_PATH_IMAGE001
的视野边缘，具体为：
Figure 206396DEST_PATH_IMAGE017
；（3）
当公式（3）为真时，判定目标在边缘，反之，不在边缘；
其中，
Figure 230983DEST_PATH_IMAGE018
是目标的位置；
Figure 704690DEST_PATH_IMAGE019
是帧的高，
Figure 549149DEST_PATH_IMAGE020
是帧的宽。
进一步的，当目标在摄像机
Figure 500925DEST_PATH_IMAGE001
的视野边缘，则具体采用以下步骤：
步骤A，利用转换矩阵
Figure 901992DEST_PATH_IMAGE021
把此时目标在摄像机
Figure 812179DEST_PATH_IMAGE001
中的位置转换到现实3d坐标，再 把3d坐标转换成每个摄像机节点的
Figure 409514DEST_PATH_IMAGE022
坐标，并判断出此时的
Figure 40346DEST_PATH_IMAGE022
坐标在摄像机
Figure 633002DEST_PATH_IMAGE002
视野内，然 后摄像机
Figure 589456DEST_PATH_IMAGE001
把摄像机
Figure 533141DEST_PATH_IMAGE002
的位置信息和目标的
Figure 731779DEST_PATH_IMAGE023
坐标传给它的邻居；其中的转换矩阵
Figure 319887DEST_PATH_IMAGE021
是根 据摄像机网络中每个节点的位置以及视角计算得到的一种在现实
Figure 306297DEST_PATH_IMAGE024
坐标和帧
Figure 612645DEST_PATH_IMAGE023
坐标的转 换矩阵；
步骤B，通过平均一致性算法经过多次迭代之后，摄像机
Figure 709914DEST_PATH_IMAGE002
接收到
Figure 683686DEST_PATH_IMAGE023
坐标，并利用 粒子滤波算法进行校准。
进一步的，所述平均一致性算法，具体为：
每个摄像机节点初始化它的状态
Figure 949320DEST_PATH_IMAGE025
，
Figure 133177DEST_PATH_IMAGE026
为摄像机
Figure 909503DEST_PATH_IMAGE002
接收的信息，具体的公 式如下所示；
Figure 472202DEST_PATH_IMAGE027
； （4）
其中
Figure 800415DEST_PATH_IMAGE028
表示
Figure 81355DEST_PATH_IMAGE029
节点的邻居节点的集合，参数
Figure 786006DEST_PATH_IMAGE030
在0和
Figure 701747DEST_PATH_IMAGE031
之间，其中
Figure 200862DEST_PATH_IMAGE032
是传感器 网络拓扑图中最大的度数；迭代次数刚开始时，摄像机节点
Figure 703518DEST_PATH_IMAGE002
发送它的前一时刻的状态
Figure 946281DEST_PATH_IMAGE033
给它的邻居节点，也接收别的节点的前一时刻的状态
Figure 217993DEST_PATH_IMAGE034
；后使用公式（4）更 新它的状态，通过迭代，所有节点的状态值收敛到初始值的平均值。
进一步的，所述粒子滤波算法校准，具体为：
先撒一堆粒子
Figure 888009DEST_PATH_IMAGE035
，然后根据测量值计算每个粒子的权值
Figure 143541DEST_PATH_IMAGE036
，然后计算这堆粒 子的均值就可以得到目标的估计值；有颜色特征的粒子的权值更新是用颜色直方图；
Figure 298316DEST_PATH_IMAGE037
； （5）
其中
Figure 80328DEST_PATH_IMAGE038
是粒子的个数，
Figure 62190DEST_PATH_IMAGE039
是粒子的均值；
Figure 539439DEST_PATH_IMAGE040
； （6）
Figure 389583DEST_PATH_IMAGE041
；（7）
其中
Figure 901467DEST_PATH_IMAGE042
是在帧中画的一个含有目标的框的的
Figure 287187DEST_PATH_IMAGE043
，
Figure 110786DEST_PATH_IMAGE044
轴 上的最小值和最大值；
Figure 639988DEST_PATH_IMAGE045
求每个颜色通道的值，
Figure 6378DEST_PATH_IMAGE046
分别表示以状态
Figure 189098DEST_PATH_IMAGE043
所画框的颜 色通道，
Figure 640939DEST_PATH_IMAGE047
为每个通道上
Figure 832886DEST_PATH_IMAGE048
的大小；
Figure 552318DEST_PATH_IMAGE049
为粒子的颜色直方图；
Figure 312464DEST_PATH_IMAGE050
； （8）
Figure 110655DEST_PATH_IMAGE051
； （9）
其中
Figure 981659DEST_PATH_IMAGE052
表示的是目标的颜色直方图，
Figure 57063DEST_PATH_IMAGE053
是一个很小的值，加上它是为 了防止分母为0。
本发明的有益效果：
本发明考虑到过程计算量问题，实时性问题，跟踪精度问题，使存在这些问题的多摄像机系统也能够实现目标跟踪应用；使用相关滤波可以解决追踪精度问题，并提高了在单个摄像机追踪目标时的速度。同时结合平均一致性算法，摄像机们的位置，以及借鉴了粒子滤波的思想，使系统可以在多个摄像机环境中应用；本发明所提出的方法能够在提高跟踪精度的同时，减少运算量，提升方法的鲁棒性；本发明可以通过适当改进拓展到其他分布式系统中，在目标跟踪具有一定的应用前景。
附图说明
图1是本发明的一种适用于具有重叠视野的摄像机网络下的目标跟踪方法流程示意图；
图2是本发明实施例的网络连通以及摄像机
Figure 847164DEST_PATH_IMAGE054
示意图；
图3是本发明实施例的具体实验中在每一帧的追踪结果示意图；
图4是本发明方法在某次目标跟踪中的位置误差结果示意图；
图5是本发明方法不同迭代次数下的均方根误差的结果图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
本发明中摄像机被看成网络中的节点，即摄像机、摄像机节点、节点三种表述意思 相同。考虑一个摄像机网络中有
Figure 506553DEST_PATH_IMAGE055
个摄像机，监控着重叠的可视区域Field of views， FOVs中的
Figure 774724DEST_PATH_IMAGE056
个移动的目标。
Figure 970213DEST_PATH_IMAGE055
个摄像机组成的网络在
Figure 665636DEST_PATH_IMAGE057
时刻可以用无向图
Figure 48207DEST_PATH_IMAGE058
表示，其中
Figure 120069DEST_PATH_IMAGE059
表示摄像机节点的集合，
Figure 435643DEST_PATH_IMAGE060
为边的集合，边表示节点间的通信连接，
Figure 36389DEST_PATH_IMAGE061
为邻接矩阵，邻接 矩阵由0和1元素组成，若对应元素为1说明该两个摄像机节点之间存在一条相邻边，并且规 定
Figure 935950DEST_PATH_IMAGE062
，
Figure 686868DEST_PATH_IMAGE063
,
Figure 716004DEST_PATH_IMAGE055
，
Figure 628596DEST_PATH_IMAGE055
表示摄像机节点的总个数；
Figure 516918DEST_PATH_IMAGE064
为节点
Figure 930582DEST_PATH_IMAGE001
的邻居集，即与节点
Figure 453705DEST_PATH_IMAGE001
相邻的节点的集合，
Figure 927411DEST_PATH_IMAGE065
表示连接任意摄像机节点
Figure 37450DEST_PATH_IMAGE001
与
Figure 130171DEST_PATH_IMAGE066
的一条边。
本发明实施例采用的摄像机
Figure 133899DEST_PATH_IMAGE001
离散时间系统的系统方程表示如下，所有节点的系 统方程形式一致：
Figure 388294DEST_PATH_IMAGE003
（1）
Figure 844683DEST_PATH_IMAGE004
（2）
Figure 974051DEST_PATH_IMAGE005
表示求得的响应值，根据求得的响应值，找出响应值中最大的数的位置，然后 根据前一时刻的位置和响应值中最大数的位置求当前时刻目标的位置。
其中，
Figure 832285DEST_PATH_IMAGE006
表示正在训练的图片块，
Figure 257581DEST_PATH_IMAGE007
表示
Figure 201267DEST_PATH_IMAGE008
和
Figure 635790DEST_PATH_IMAGE009
的核相关，
Figure 489477DEST_PATH_IMAGE067
表示以自然 数
Figure 475887DEST_PATH_IMAGE068
为底的指数函数，
Figure 546349DEST_PATH_IMAGE010
表示回归的目标，
Figure 784564DEST_PATH_IMAGE011
表示测试的图片块，
Figure 617390DEST_PATH_IMAGE012
表示离散傅里叶变换，
Figure 650068DEST_PATH_IMAGE013
表示卷积操作，
Figure 568346DEST_PATH_IMAGE014
表示逆离散傅里叶变换，
Figure 79093DEST_PATH_IMAGE015
表示范数，
Figure 405907DEST_PATH_IMAGE016
表示
Figure 140644DEST_PATH_IMAGE008
的复共轭，
Figure 687163DEST_PATH_IMAGE069
，
Figure 657393DEST_PATH_IMAGE070
。
如图1所示，本发明的一种适用于具有重叠视野的摄像机网络下的目标跟踪方法，包括以下步骤：
步骤1、从各个摄像机中得到监控视频，然后根据给出的目标初始位置，找出一个 具有目标视野的摄像机
Figure 74599DEST_PATH_IMAGE001
；
步骤2、在摄像机
Figure 213194DEST_PATH_IMAGE001
上，运行相关滤波算法对目标进行追踪。其主要原理是对感兴趣 得目标产生高响应，对背景产生低响应；根据响应值来求更新目标得位置；具体公式如下：
Figure 840485DEST_PATH_IMAGE003
（1）
Figure 693034DEST_PATH_IMAGE004
（2）
Figure 620539DEST_PATH_IMAGE005
表示求得的响应值，根据求得的响应值，找出响应值中最大的数的位置，然后 根据前一时刻的位置和响应值中最大数的位置求当前时刻目标的位置；
其中，
Figure 165921DEST_PATH_IMAGE006
表示正在训练的图片块，
Figure 280508DEST_PATH_IMAGE007
表示
Figure 936748DEST_PATH_IMAGE008
和
Figure 453180DEST_PATH_IMAGE009
的核相关，
Figure 667998DEST_PATH_IMAGE067
表示以自然 数
Figure 269881DEST_PATH_IMAGE068
为底的指数函数，
Figure 729812DEST_PATH_IMAGE010
表示回归的目标，
Figure 100751DEST_PATH_IMAGE011
表示测试的图片块，
Figure 987935DEST_PATH_IMAGE012
表示离散傅里叶变换，
Figure 952480DEST_PATH_IMAGE013
表示卷积操作，
Figure 340736DEST_PATH_IMAGE014
表示逆离散傅里叶变换，
Figure 300602DEST_PATH_IMAGE015
表示范数，
Figure 122802DEST_PATH_IMAGE016
表示
Figure 574643DEST_PATH_IMAGE008
的复共轭；
步骤3、判断当前时刻目标是否到达摄像机s的视野边缘；
步骤3.1，
Figure 845219DEST_PATH_IMAGE017
；（3）
当公式（3）为真时，判定目标在边缘；
Figure 925170DEST_PATH_IMAGE018
是目标的位置；
Figure 278791DEST_PATH_IMAGE019
是 帧的高，
Figure 739901DEST_PATH_IMAGE020
是帧的宽；
步骤3.2，如目标不在边缘,则继续在摄像机
Figure 79747DEST_PATH_IMAGE001
上运行相关滤波算法追踪目标；
步骤3.3，如目标在边缘,则采用以下步骤：
步骤A，广播目标的信息，所有摄像机开始接收邻居发送的信息：利用转换矩阵
Figure 279784DEST_PATH_IMAGE021
把此时目标在摄像机
Figure 945252DEST_PATH_IMAGE001
中的位置转换到现实3d坐标；转换矩阵
Figure 230739DEST_PATH_IMAGE021
是根据摄像机网络中每 个节点的位置以及视角计算得到的一种在现实
Figure 905434DEST_PATH_IMAGE024
坐标和帧
Figure 333879DEST_PATH_IMAGE023
坐标的转换矩阵；每一个相 机都有多个转换矩阵，这些矩阵将用于对
Figure 294882DEST_PATH_IMAGE023
坐标和
Figure 208612DEST_PATH_IMAGE024
坐标之间的来回转换；利用转换矩阵 把
Figure 421418DEST_PATH_IMAGE024
坐标转换成每个相机节点的
Figure 330468DEST_PATH_IMAGE023
坐标，并判断此时的
Figure 603318DEST_PATH_IMAGE023
坐标在哪一个摄像机视野内； 如在摄像机
Figure 971720DEST_PATH_IMAGE002
视野中，则摄像机
Figure 847272DEST_PATH_IMAGE001
把摄像机
Figure 751774DEST_PATH_IMAGE002
的位置信息和目标的
Figure 789000DEST_PATH_IMAGE023
坐标传给它的邻居；
步骤B，采用一致性算法融合所有信息：利用平均一致性算法，经过多次迭代之后， 摄像机
Figure 411743DEST_PATH_IMAGE002
接收到
Figure 825407DEST_PATH_IMAGE023
坐标；
每个节点初始化它的状态
Figure 584415DEST_PATH_IMAGE025
，
Figure 792543DEST_PATH_IMAGE026
为摄像机
Figure 135537DEST_PATH_IMAGE002
接收的信息；具体的公式如下 所示；
Figure 352892DEST_PATH_IMAGE027
； （4）
其中
Figure 825461DEST_PATH_IMAGE028
表示
Figure 611015DEST_PATH_IMAGE029
节点的邻居节点的集合，参数
Figure 942770DEST_PATH_IMAGE030
在0和
Figure 698236DEST_PATH_IMAGE031
之间，其中
Figure 290892DEST_PATH_IMAGE032
是传感器 网络拓扑图中最大的度数；迭代次数刚开始时，节点
Figure 981767DEST_PATH_IMAGE002
发送它的前一时刻的状态
Figure 299354DEST_PATH_IMAGE033
给 它的邻居节点，也接收别的节点的前一时刻的状态
Figure 858511DEST_PATH_IMAGE034
；后使用公式（4）更新它的状 态，通过迭代，所有节点的状态值收敛到初始值的平均值；
然而，接收的坐标由于经过矩阵转换和多次迭代之后，目标坐标的精度受到影响，需要校准传播后的目标的坐标；
因此，每个摄像机根据自身处在摄像机网络中的位置和接收的信息，找出下一时刻对目标追踪的摄像机，并采用粒子滤波算法校准传播后的目标的坐标，即校准目标在下一时刻上的摄像机的位置；其中，粒子滤波算法具体的公式如下；
先撒一堆粒子
Figure 446618DEST_PATH_IMAGE035
，然后根据测量值计算每个粒子的权值
Figure 433029DEST_PATH_IMAGE036
，然后计算这堆粒 子的均值就可以得到目标的估计值；有颜色特征的粒子的权值更新是用颜色直方图；
Figure 739377DEST_PATH_IMAGE037
； （5）
其中
Figure 836646DEST_PATH_IMAGE038
是粒子的个数，
Figure 279259DEST_PATH_IMAGE039
是粒子的均值；
Figure 436571DEST_PATH_IMAGE040
； （6）
Figure 463171DEST_PATH_IMAGE041
；（7）
其中
Figure 364131DEST_PATH_IMAGE042
是在帧中画的一个含有目标的框的的
Figure 926830DEST_PATH_IMAGE043
，
Figure 255043DEST_PATH_IMAGE044
轴 上的最小值和最大值；
Figure 535983DEST_PATH_IMAGE045
求每个颜色通道的值，
Figure 975055DEST_PATH_IMAGE046
分别表示以状态
Figure 392261DEST_PATH_IMAGE043
所画框的颜 色通道，
Figure 891375DEST_PATH_IMAGE047
为每个通道上
Figure 892567DEST_PATH_IMAGE048
的大小；
Figure 135329DEST_PATH_IMAGE049
为粒子的颜色直方图；
Figure 672621DEST_PATH_IMAGE050
； （8）
Figure 342637DEST_PATH_IMAGE051
； （9）
其中
Figure 67010DEST_PATH_IMAGE052
表示的是目标的颜色直方图，
Figure 113464DEST_PATH_IMAGE053
是一个很小的值，加上它是为 了防止分母为0；
步骤4、摄像机
Figure 505262DEST_PATH_IMAGE002
根据校准后的目标坐标，继续利用相关滤波算法跟踪目标。
本发明的效果可通过以下实验进一步说明：
本实验中，采用上述方法对摄像机网络中的行人进行跟踪。假设1个目标在多个摄 像机的区域内运动，区域内分布式的布置了4个摄像机。网络连通图以及摄像机FOV如图2所 示。目标的状态向量为
Figure 346179DEST_PATH_IMAGE043
,
Figure 56384DEST_PATH_IMAGE044
方向的位移，记为：
Figure 640949DEST_PATH_IMAGE071
。目标的状态更新模型如下：
Figure 152833DEST_PATH_IMAGE072
其中
Figure 40017DEST_PATH_IMAGE073
,
Figure 129196DEST_PATH_IMAGE074
为求得的响应值中最大值的位置，
Figure 127239DEST_PATH_IMAGE075
为4
Figure 618263DEST_PATH_IMAGE076
4像素大小的单元。
如图3和图4所示的图中可以看出，在本次实验中，本发明的方法能很好的跟踪到目标。本发明的方法采用了平均一致性算法，图中显示的是10轮迭代的结果。通过与真实轨迹的对比，本发明提出的方法可以得到比较贴合真实运动的轨迹，也就是说该方法适合于多摄像机协同跟踪这一应用。
图5显示了本发明的方法的均方根误差，从图5中可以看出，本发明提出的方法能有效的跟踪目标，随着一致性迭代次数增加，算法逐渐收敛，从图中可以看出仅进行了4轮迭代，算法就收敛到一致平均值，因此本发明方法是非常有效的。在实际使用该方法时，可以在相邻时间间隔内，进行多次迭代。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种适用于具有重叠视野的摄像机网络下的目标追踪方法，其特征在于，包括以下步骤：
步骤1、从各个摄像机中得到监控视频，然后根据给出的目标初始位置，找出一个具有目标视野的摄像机 s；
步骤2、在摄像机s上，运行相关滤波算法对目标进行追踪；
步骤3、判断当前时刻目标是否在摄像机
Figure DEST_PATH_IMAGE001
的视野边缘：
若不在边缘，则继续运行相关滤波算法对目标进行追踪；
若在边缘，则根据摄像机s的位置找出下一时刻拥有目标视野的摄像机
Figure DEST_PATH_IMAGE002
，并利用粒子滤波算法校准目标在下一时刻的摄像机
Figure 844052DEST_PATH_IMAGE002
上的位置；
步骤4、摄像机
Figure 292350DEST_PATH_IMAGE002
根据校准后的目标坐标，继续利用相关滤波算法跟踪目标；
其中，当目标在摄像机
Figure 603246DEST_PATH_IMAGE001
的视野边缘，则具体采用以下步骤：
步骤A，利用转换矩阵
Figure DEST_PATH_IMAGE003
把此时目标在摄像机
Figure 296658DEST_PATH_IMAGE001
中的位置转换到现实3d坐标，再把3d坐标转换成每个摄像机节点的
Figure DEST_PATH_IMAGE004
坐标，并判断出此时的
Figure 907768DEST_PATH_IMAGE004
坐标在摄像机
Figure 261389DEST_PATH_IMAGE002
视野内，然后摄像机
Figure 59580DEST_PATH_IMAGE001
把摄像机
Figure 524060DEST_PATH_IMAGE002
的位置信息和目标的
Figure DEST_PATH_IMAGE005
坐标传给摄像机
Figure 255255DEST_PATH_IMAGE001
的邻居；其中的转换矩阵
Figure 779778DEST_PATH_IMAGE003
是根据摄像机网络中每个节点的位置以及视角计算得到的一种在现实
Figure DEST_PATH_IMAGE006
坐标和帧
Figure 97889DEST_PATH_IMAGE005
坐标的转换矩阵；
步骤B，通过平均一致性算法经过多次迭代之后，摄像机
Figure 100480DEST_PATH_IMAGE002
接收到
Figure 155024DEST_PATH_IMAGE005
坐标，并利用粒子滤波算法进行校准；
所述的平均一致性算法，具体为：
每个摄像机节点初始化它的状态
Figure DEST_PATH_IMAGE007
，
Figure DEST_PATH_IMAGE008
为摄像机
Figure 912764DEST_PATH_IMAGE002
接收的信息，具体的公式如下所示；
Figure DEST_PATH_IMAGE009
； （4）
其中
Figure DEST_PATH_IMAGE010
表示
Figure DEST_PATH_IMAGE011
节点的邻居节点的集合，参数
Figure DEST_PATH_IMAGE012
在0和
Figure DEST_PATH_IMAGE013
之间，其中
Figure DEST_PATH_IMAGE014
是传感器网络拓扑图中最大的度数；迭代次数刚开始时，摄像机节点
Figure 108384DEST_PATH_IMAGE002
发送它的前一时刻的状态
Figure DEST_PATH_IMAGE015
给它的邻居节点，也接收别的节点的前一时刻的状态
Figure DEST_PATH_IMAGE016
；后使用公式（4）更新它的状态，通过迭代，所有节点的状态值收敛到初始值的平均值；
所述的粒子滤波算法校准，具体为：
先撒一堆粒子
Figure DEST_PATH_IMAGE017
，然后根据测量值计算每个粒子的权值
Figure DEST_PATH_IMAGE018
，然后计算这堆粒子的均值就可以得到目标的估计值；有颜色特征的粒子的权值更新是用颜色直方图；
Figure DEST_PATH_IMAGE019
； （5）
其中
Figure DEST_PATH_IMAGE020
是粒子的个数，
Figure DEST_PATH_IMAGE021
是粒子的均值；
Figure DEST_PATH_IMAGE022
； （6）
Figure DEST_PATH_IMAGE023
；（7）
其中
Figure DEST_PATH_IMAGE024
是在帧中画的一个含有目标的框的的
Figure DEST_PATH_IMAGE025
，
Figure DEST_PATH_IMAGE026
轴上的最小值和最大值；
Figure DEST_PATH_IMAGE027
求每个颜色通道的值，
Figure DEST_PATH_IMAGE028
分别表示以状态
Figure 25918DEST_PATH_IMAGE025
所画框的颜色通道，
Figure DEST_PATH_IMAGE029
为每个通道上
Figure DEST_PATH_IMAGE030
的大小；
Figure DEST_PATH_IMAGE031
为粒子的颜色直方图；
Figure DEST_PATH_IMAGE032
； （8）
Figure DEST_PATH_IMAGE033
； （9）
其中
Figure DEST_PATH_IMAGE034
表示的是目标的颜色直方图，
Figure DEST_PATH_IMAGE035
是一个用于加上后防止分母为0的值。
2.如权利要求1所述的一种适用于具有重叠视野的摄像机网络下的目标追踪方法，其特征在于，所述相关滤波算法是对感兴趣得目标产生高响应，对背景产生低响应，具体表达式如下：
Figure DEST_PATH_IMAGE037
（1）
Figure DEST_PATH_IMAGE038
（2）
其中，
Figure DEST_PATH_IMAGE039
表示求得的响应值，根据求得的响应值，找出响应值中最大的数的位置，然后根据前一时刻的位置和响应值中最大数的位置求当前时刻目标的位置；
Figure DEST_PATH_IMAGE040
表示正在训练的图片块，
Figure DEST_PATH_IMAGE041
表示
Figure DEST_PATH_IMAGE042
和
Figure DEST_PATH_IMAGE043
的核相关，exp表示以自然数e为底的指数函数，
Figure DEST_PATH_IMAGE044
表示回归的目标，
Figure DEST_PATH_IMAGE045
表示测试的图片块，
Figure DEST_PATH_IMAGE046
表示离散傅里叶变换，
Figure DEST_PATH_IMAGE047
表示卷积操作，
Figure DEST_PATH_IMAGE048
表示逆离散傅里叶变换，
Figure DEST_PATH_IMAGE049
表示范数，
Figure DEST_PATH_IMAGE050
表示
Figure 41627DEST_PATH_IMAGE042
的复共轭。
3.如权利要求1所述的一种适用于具有重叠视野的摄像机网络下的目标追踪方法，其特征在于，所述判断当前时刻目标是否在摄像机
Figure 907952DEST_PATH_IMAGE001
的视野边缘，具体为：
Figure DEST_PATH_IMAGE051
；（3）
当公式（3）为真时，判定目标在边缘，反之，不在边缘；
其中，
Figure DEST_PATH_IMAGE052
是目标的位置；
Figure DEST_PATH_IMAGE053
是帧的高，
Figure DEST_PATH_IMAGE054
是帧的宽。
CN202111410923.0A 2021-11-25 2021-11-25 一种适用于具有重叠视野的摄像机网络下的目标追踪方法 Active CN113838101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111410923.0A CN113838101B (zh) 2021-11-25 2021-11-25 一种适用于具有重叠视野的摄像机网络下的目标追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111410923.0A CN113838101B (zh) 2021-11-25 2021-11-25 一种适用于具有重叠视野的摄像机网络下的目标追踪方法

Publications (2)

Publication Number Publication Date
CN113838101A CN113838101A (zh) 2021-12-24
CN113838101B true CN113838101B (zh) 2022-03-18

Family

ID=78971728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111410923.0A Active CN113838101B (zh) 2021-11-25 2021-11-25 一种适用于具有重叠视野的摄像机网络下的目标追踪方法

Country Status (1)

Country Link
CN (1) CN113838101B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117974954A (zh) * 2024-04-02 2024-05-03 吉林省净发数字科技有限公司 一种智慧城市管理系统的视频图像目标识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038714A (zh) * 2017-04-17 2017-08-11 西安理工大学 多型视觉传感协同目标跟踪方法
CN109348119A (zh) * 2018-09-18 2019-02-15 成都易瞳科技有限公司 一种全景监控系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101751677B (zh) * 2008-12-17 2013-01-02 中国科学院自动化研究所 基于多摄像机的目标连续跟踪方法
US20130176192A1 (en) * 2011-09-30 2013-07-11 Kenneth Varga Extra-sensory perception sharing force capability and unknown terrain identification system
CN101916437B (zh) * 2010-06-18 2014-03-26 中国科学院计算技术研究所 一种基于多视觉信息的目标定位方法和系统
CN104038729A (zh) * 2014-05-05 2014-09-10 重庆大学 级联式多摄像机接力跟踪方法及系统
GB201613138D0 (en) * 2016-07-29 2016-09-14 Unifai Holdings Ltd Computer vision systems
CN106991691B (zh) * 2017-02-24 2019-10-18 北京理工大学 一种适用于摄像机网络下的分布式目标跟踪方法
CN110290351B (zh) * 2019-06-26 2021-03-23 广东康云科技有限公司 一种视频目标跟踪方法、系统、装置和存储介质
CN111008990A (zh) * 2019-12-12 2020-04-14 大连理工大学 一种基于网格的目标轨迹跟踪和恢复的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038714A (zh) * 2017-04-17 2017-08-11 西安理工大学 多型视觉传感协同目标跟踪方法
CN109348119A (zh) * 2018-09-18 2019-02-15 成都易瞳科技有限公司 一种全景监控系统

Also Published As

Publication number Publication date
CN113838101A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN106991691B (zh) 一种适用于摄像机网络下的分布式目标跟踪方法
CN112153736B (zh) 一种基于信道状态信息的人员动作识别和位置估计方法
CN104168648B (zh) 传感器网络多目标分布式一致性跟踪方法
CN112184757B (zh) 运动轨迹的确定方法及装置、存储介质、电子装置
CN105635963B (zh) 多智能体分布式协同定位方法
Lobaton et al. A distributed topological camera network representation for tracking applications
CN101930603B (zh) 中高速传感器网络图像数据融合的方法
Radke A survey of distributed computer vision algorithms
CN103648108A (zh) 传感器网络分布式一致性目标状态估计方法
JP2023021994A (ja) 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両
CN110187337B (zh) 一种基于ls和neu-ecef时空配准的高机动目标跟踪方法及系统
CN111489392B (zh) 多人环境下单个目标人体运动姿态捕捉方法及系统
Katragadda et al. Consensus protocols for distributed tracking in wireless camera networks
CN104700408A (zh) 一种基于摄像机网络的室内单目标定位方法
CN113838101B (zh) 一种适用于具有重叠视野的摄像机网络下的目标追踪方法
CN111829522B (zh) 即时定位与地图构建方法、计算机设备以及装置
CN106127119B (zh) 基于彩色图像和深度图像多特征的联合数据关联方法
Jia et al. A high accuracy localization algorithm with DV-Hop and fruit fly optimization in anisotropic wireless networks
CN104535963B (zh) 基于距离测量的多移动节点实现协同目标定位的方法
Li et al. Multiple feature points representation in target localization of wireless visual sensor networks
CN108830884A (zh) 一种多视觉传感器协同目标跟踪方法
CN103077523A (zh) 手持相机拍摄取证方法
Wang et al. Adaptive baseline monocular dense mapping with inter-frame depth propagation
Simonjan et al. Distributed visual sensor network calibration based on joint object detections
Elhamifar et al. Distributed calibration of camera sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant