CN106101640A - 自适应视频传感器融合方法及装置 - Google Patents

Abstract

本发明实施例提出一种自适应视频传感器融合方法及装置。该方法包括：获取不同视频传感器拍摄运动目标的视频信息，计算出所述运动目标跟踪的精确度作为所述不同视频传感器的可信度，并获得不同视频传感器跟踪运动目标的位置信息，所述位置信息包括所述运动目标的位置；采用单应变换将来自不同传感器获得的运动目标的位置映射到监控场景的俯视图中；对所述来自不同传感器的运动目标的位置信息根据所述不同视频传感器的可信度采用局部自适应滤波器进行滤波，得到优化的运动目标的位置状态估计，对不同传感器优化后的运动目标的位置状态估计进行融合。本发明实施例具有能提高多视频传感器视频数据融合精准度的特点。

Description

自适应视频传感器融合方法及装置

技术领域

本发明涉及多传感器数据融合领域，具体而言，涉及一种自适应视频传感器融合方法及装置。

背景技术

随着多传感器系统和通信技术的发展，传感器融合在不同的级别和不同的方法中得到应用。信号级融合是最低级别的融合，在视频监控领域，可以被用来组合相同场景下的同质或异质传感器获取的图像。在实际执行融合方法之前，待融合图像需要被进行正确的空间配准。信号级融合是最严格的，因为它只能融合以图像或视频为输出的图像/视频类传感器。

与信号级融合的局限性相比，特征级融合允许待融合的视频传感器可以有不同视野，如不同的视角、离目标不同的距离等，而这些传感器难以在其上应用信号级融合。特征级融合需要从待融合传感器获取的运动图像中提取特征，并将这些特征融合成一种统一的表示格式，如目标位置、速度、运动轨迹及姿态等。在特征级融合传感器获取的数据能够减少信号级融合对配准的严格限制，从而扩展了多传感器数据融合的应用。

在传感器的视角具有很大的偏差时，难以应用信号级融合技术对它们进行融合。一种传统的方法是采用集中式卡尔曼滤波(CKF)进行融合。CKF将所有从局部传感器得到的观测数据送入一个融合中心，生成融合后的估计结果，该方法生成的融合结果在理论上具有最小的信息损失。在这种方法中，所有的观测数据被视为一个观测矩阵，融合中心承担着绝大部分的计算负担。此外，CKF在处理有严重错误或高噪声的数据时精确性和稳定性较低。另一种经典的方法是联合卡尔曼滤波(FKF)融合，通过使用信息共享算子(ISF)，可以生成更为精确的融合估计结果。ISF是基于协方差矩阵计算的，而协方差矩阵不可避免地包含一些估计误差，从而影响最终的融合结果。

研究人员也提出了使用Steady-State卡尔曼滤波器的融合方法、协方差交互(CI)卡尔曼滤波融合方法、标准的分散式卡尔曼滤波(DKF)融合方法和序列式协方差交互融合方法等。其中分散式卡尔曼滤波融合方法具有更好的鲁棒性、灵活性和高效性，被广泛地应用到多传感器数据融合。一些自适应融合方法也被提出来，用来改进融合机制，以获得更加准确和鲁棒的融合结果，这些自适应策略包括加权策略和基于模糊逻辑的策略。上述融合方法都很少应用到实际的视频传感器融合，并且都没有考虑输入传感器的可信度，使得出故障的传感器可能会影响融合的过程，从而导致不精确的融合结果。而现有的传感器可信度函数达不到大多数实际视频监控系统的要求，如实时性、易于实现等。

如何提高多传感器数据融合的精确度，对于本领域技术人员而言是急需要解决的技术问题。

发明内容

有鉴于此，本发明一较佳实施例的目的在于提供一种能提高多传感器数据融合精确度的自适应视频传感器融合方法，该方法包括：

获取不同视频传感器拍摄运动目标的视频信息，计算出所述运动目标跟踪的精确度作为所述不同视频传感器的可信度，并获得不同视频传感器跟踪运动目标的位置信息，所述位置信息包括所述运动目标的位置；

采用单应变换将来自不同传感器获得的运动目标的位置映射到监控场景的俯视图中；

对所述来自不同传感器的运动目标的位置信息根据所述不同视频传感器的可信度采用局部自适应滤波器进行滤波，得到优化的运动目标的位置状态估计，对不同传感器优化后的运动目标的位置状态估计进行融合。

本发明另一较佳实施例还提供一种自适应视频传感器融合装置，所述装置包括：

可信度计算模块，用于获取不同视频传感器拍摄运动目标的视频信息，计算出目标跟踪的精确度作为所述不同视频传感器的可信度，和不同视频传感器获得的运动目标的位置信息，所述位置信息包括所述运动目标的位置；

位置映射模块，用于采用单应变换将来自不同传感器获得的运动目标的位置映射到监控场景的俯视图中；

融合模块，用于对所述来自不同传感器的运动目标的位置信息根据所述不同视频传感器的可信度采用局部自适应滤波器进行滤波，得到优化的运动目标的位置状态估计，对不同传感器优化后的运动目标的位置状态估计进行融合。

与现有技术相比，本发明实施例提供的自适应视频传感器融合方法及装置，在融合过程中引入视频传感器可信度来评估传感器在目标检测方面的性能，采用传感器的可信度自动调节局部自适应滤波器进行滤波，自适应地为待融合视频传感器分配更加准确的权重。在融合过程中结合传感器的可信度，可使得来自不同视频传感器的冗余跟踪数据得到充分利用，同时可以有效减少因不正确的目标跟踪和位置映射引起的目标位置误差，提高多传感器数据融合的精确度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明较佳实施例提供的自适应视频传感器融合方法及装置应用的硬件方框示意图。

图2是本发明较佳实施例提供的图1中所示的自适应视频传感器融合装置的功能模块框图。

图3是本发明较佳实施例提供的自适应视频传感器融合方法的具体流程图。

图4是本发明较佳实施例提供的将目标位置映射到同一俯视图平面的示意图。

图5是本发明较佳实施例提供的自适应视频传感器融合方法的结构示意图。

主要元件符号说明

电子设备	100
		自适应视频传感器融合装置	110
存储器	111
		存储控制器	112
处理器	113
		外设接口	114
输入输出单元	115
		视频传感器	116
显示单元	117
		应用程序	210
可信度计算模块	1101
		位置映射模块	1102
融合模块	1103

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，图1为本发明实施例提供的一种电子设备100的方框示意图。所述电子设备100包括自适应视频传感器融合装置110、存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、视频传感器116以及显示单元117。本实施例中，所述电子设备100包括，但不限于，笔记本电脑、个人电脑、个人数字助理、移动上网设备等。

所述存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、视频传感器116以及显示单元117各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述自适应视频传感器融合装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述存储器111存储有所述电子设备100下载并安装的应用程序210，所述应用程序210包括在进行多视频传感器数据融合中所使用的算法。所述处理器113用于执行所述存储器111中存储的可执行模块，例如所述自适应视频传感器融合装置110所包括的软件功能模块及计算机程序等。

其中，所述存储器111可以是，但不限于，随机存取存储器(Random AccessMemory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(ProgrammableRead-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-OnlyMemory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序。所述处理器113以及其他可能的组件对存储器111的访问可在所述存储控制器112的控制下进行。

所述处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述外设接口114将各种输入/输出装置耦合至所述处理器113以及所述存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

所述输入输出单元115用于提供给用户输入数据实现用户与所述电子设备100的交互。所述输入输出单元115可以是，但不限于，鼠标和键盘等。

所述视频传感器116检测并跟踪运动目标，并将采集的运动目标的视频信息通过外设接口114传输给处理器114进行处理，以实现多数据的融合。

所述显示单元117在所述电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据。在本实施例中，所述显示单元117可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处产生的触控操作，并将该感应到的触控操作交由处理器113进行计算和处理。

请参照图2，是本发明较佳实施例提供的图1所示自适应视频传感器融合装置110的功能模块框图。所述自适应视频传感器融合装置110包括可信度计算模块1101、位置映射模块1102及融合模块1103。图3是本发明较佳实施例提供的自适应视频传感器融合方法的流程图。所述方法相关的流程的方法步骤可以由所述可信度计算模块1101、位置映射模块1102及融合模块1103来实现。下面对各个模块具体如何实现具体流程进行详细阐述。

步骤S111，所述可信度计算模块1101获取不同视频传感器拍摄运动目标的视频信息，计算出所述运动目标跟踪的精确度作为所述不同视频传感器的可信度，并获得不同视频传感器跟踪运动目标的位置信息，所述位置信息包括所述运动目标的位置。

在本实施例中，不同视频传感器160从不同的拍摄角度对运动目标进行拍摄，得到运动目标的视频信息。所述可信度计算模块1101从获得运动目标的视频信息中计算出所述不同视频传感器的可信度的具体步骤如下。

首先，计算属于检测目标块的所有像素在差异图上的总和。

接着，计算属于检测目标块的所有像素在当前帧和参考背景帧之间差异的可能价差的总和。

最后，将检测目标块的所有像素在差异图上的总和与所述属于检测目标块的所有像素在当前帧和参考背景帧之间差异的可能价差的总和相除，得到所述检测目标块所对应视频传感器的可信度。

在本实施例中，所述传感器的可信度可以采用公式(1)得到。

$AR\left(b_j^i\right(k\left)\right)=\frac{\underset{c}{\Σ}\underset{x,y\∈b_j^i\left(k\right)}{\Σ}{D}_c(x,y)}{\underset{c}{\Σ}\underset{x,y\∈b_j^i\left(k\right)}{\Σ}\mathrm{\δ}\left(R_c\right(x,y))}---\left(1\right)$

D_c(x，y)＝|I_c(x，y)-R_c(x，y)| (2)

其中，j是目标块编号，k是时间，i是传感器编号D表示来自传感器视频序列中当前帧I与参考的背景帧R之间的差异图；c是相应帧图像的颜色通道数。式(1)中的分子表示属于检测目标块的所有像素在差异图上的总和，分母表示属于检测目标块的所有像素在I(x,y)和R(x,y)之间差异的可能价差的总和。式(1)中分子与分母之商表示检测目标块的精确度，即检测目标块的可信度。在本实施例中检测目标块包括运动目标，因此计算得到的检测目标块的可信度AR即可表示对应视频传感器的可信度。

在本实施例中，对于分子、分母中的累加操作，它们都是在空间上基于像素坐标实现的，再按颜色通道c累加。采用红、绿和蓝三颜色通道，δ表示每个像素可能的价差，如式(3)所示。

δ(R_c(x，y))＝max(R_c(x，y)，255-R_c(x，y)) (3)

从式(3)看出，δ计算的是当前帧图像上像素(x,y)和相应参考背景帧上相同位置像素之间可能的最大差异。D是当前帧与背景帧各像素之间的差异的绝对值，而δ是最大的差异值。因此，δ可以计算出当前帧图像上像素(x,y)，与相应的参考背景帧图像上相同位置处像素相比，在明或暗色调上的最大差异，也就是该像素在背景中最大的可识别程度。

步骤S112，位置映射模块1102采用单应变换将来自不同传感器获得的运动目标的位置映射到监控场景的俯视图中。

在本实施例中，请参照图4，将来自不同传感器的位置数据通过单应变换映射到一个统一的俯视图平面上。这个统一的俯视图平面通常覆盖了监控系统关注的监控区域，不同传感器检测到的目标的运动轨迹等都可以反映到该俯视图中。

具体地，所述位置映射模块1102可以通过摄像平面上的关键点和相应俯视图平面上对应的关键点之间的匹配，可以计算出单应变换的变换矩阵。由于大部分监控系统中的摄像头是固定的，因而该俯视图和它与不同监控摄像头之间的变换矩阵，可以在监控系统安装时就预先装配入系统，若摄像头有所变动，更新相应的变换矩阵即可。当得到单应变换矩阵之后，就可以进行目标位置的映射。假设坐标位置(x_c,y_c)是监控跟踪器检测到目标的中心点。将该中心点位置映射到包围目标块边界框的底部，将映射后的点(x_g，y_g)作为目标与地面接触的位置，将每个传感器得到的目标位置(x_g，y_g)通过单应变换映射到俯视图平面。

步骤S113，所述融合模块1103对所述来自不同传感器的运动目标的位置信息根据所述不同视频传感器的可信度采用局部自适应滤波器进行滤波，得到优化的运动目标的位置状态估计，对不同传感器优化后的运动目标的位置状态估计进行融合。

具体地，在本实施例中，在进行数据融合之前还需要进行局部状态估计及测量误差协方差矩阵的调整。

局部状态估计

局部状态估计和融合后的全局状态的估计是两个重要的部分，假设估计局部状态使用的局部滤波器的状态向量为其处理过程如式(4)所示：

x(k)＝A(k)x(k-1)+w(k-1) (4)

观测向量定义如下：

z(k)＝H(k)x(k)+v(k) (5)

随机变量w(k)和v(k)分别表示过程噪声和测量噪声，它们是互不相关的零均值高斯白噪声，协方差分别为Q_k和C_k。n×n阶状态转移矩阵A(k)关系到k-1时刻的目标状态到当前第k时刻状态的变换，且在变换过程中带有噪声w(k)。m×n阶矩阵H(k)是观测变换矩阵，表示状态变量x(k)对观测变量z(k)的增益。在实际的目标跟踪中，表示第i(i＝1,2,...,N)个传感器在k-1时刻的状态估计，预测状态由式(6)生成，相应的先验估计误差协方差P_i(k|k-1)由式(7)给出。

${\hat{x}}_i\left(k\right|k-1)=A\left(k\right){\hat{x}}_i(k-1|k-1)---\left(6\right)$

P_i(k|k-1)＝A(k-1)P_i(k-1|k-1)A^T(k-1)+Q(k-1) (7)

根据这些先验的预测值，可以计算出校正后k时刻的状态估计和后验估计误差协方差P_i(k|k)如下：

${\hat{x}}_i\left(k\right|k)={\hat{x}}_i\left(k\right|k-1)+K_i\left(k\right)\[z_i\left(k\right)-{\hat{z}}_i\left(k\right)\]---\left(8\right)$

${\hat{z}}_i\left(k\right)=H_i\left(k\right){\hat{x}}_i\left(k\right|k-1)+v\left(k\right)---\left(9\right)$

$\begin{array}{c}{K}_i\left(k\right)=P_i\left(k\right|k-1){H_i}^T\left(k\right){\[H_i\left(k\right)P_i\left(k\right|k-1){H_i}^T\left(k\right)+C_i\left(k\right)\]}^{-1}\\ =\frac{P_i\left(k\right|k-1){H_i}^T\left(k\right)}{H_i\left(k\right)P_i\left(k\right|-1){H_i}^T\left(k\right)+C_i\left(k\right)}\end{array}---\left(10\right)$

P_i(k|k)＝[1-K_i(k)H_i(k)]P_i(k|k-1) (11)

其中，K_i(k)是传感器i上k时刻局部卡尔曼滤波器的增益矩阵。

测量误差协方差矩阵的调整

在以上描述的处理过程中，测量误差协方差矩阵C表示滤波器信息的不确定性和不精确性程度，它反映了从输入传感器获得的数据的精确度，在状态估计中扮演着重要的作用。引入了传感器可信度来自适应地调整测量误差协方差矩阵C。自适应测量误差协方差的计算，如式(12)所示。

$C_i\left(k\right)=\left(\begin{array}{cc}{c}_i^{xx}\left(k\right)& c_i^{xy}\left(k\right)\\ c_i^{yx}\left(k\right)& c_i^{yy}\left(k\right)\end{array}\right)=\left(\begin{array}{cc}{c}_i^{xx}\left(k\right)& 0\\ 0& c_i^{yy}\left(k\right)\end{array}\right)---\left(12\right)$

假设测量误差是非交叉相关的，因此设c^xy(k)和c^yx(k)为0。其中c^xx(k)和c^yy(k)的计算如下：

$c_i^{xx}\left(k\right)=c_i^{yy}\left(k\right)=MV\×\[1-AR\left(b_j^i\right(k\left)\right)\]---\left(13\right)$

其中MV表示测量误差方差的最大值，是一个常数，通常根据实际情况决定其大小。可以通过这个方程调节测量误差协方差，并给具有更高AR值的目标位置分配更高的信任度。否则，具有较低AR值的目标位置给予较低的信任度。

当测量数据的误差协方差矩阵C_i(k)具有较小的特征值时，说明相应的第i个传感器输入的数据具有更好的精确度，反之亦然。利用待融合传感器的可信度，通过在融合过程中给多源输入数据分配不同的权重来调节测量误差协方差矩阵。矩阵C_i(k)将通过影响局部卡尔曼滤波增益矩阵K_i(k)、后验估计误差协方差P_i(k|k)以及校正后的后验状态估计来影响最终融合后的全局状态估计，如式(8)、(10)以及(11)所示。

请参照图5，在当局部的预测状态估计校正后的状态估计以及相应的误差协方差P_i(k|k-1)和P_i(k|k)都得到之后，所述融合模块1103就可以计算出融合后的全局状态估计具体地，在融合中心进行处理的过程中，包括预测和校正两个步骤。预测步骤是基于前一时刻校正后的状态估计：

${\hat{x}}^{-}\left(k\right)=A(k-1)\hat{x}(k-1)---\left(14\right)$

P^-(k)＝A(k-1)P⁺(k-1)A^T(k-1)+Q(k-1) (15)

在校正步骤计算得出最终融合后的全局状态估计结果如式(16)和式(17)所示。k时刻的全局状态估计反馈到下一时刻，作为下一时刻预测步骤的输入。

$\begin{array}{c}\hat{x}\left(k\right)=P\left(k\right)\[{\left(P^{-}\right(k\left)\right)}^{-1}{\hat{x}}^{-}\left(k\right)+\underset{i=1}{\overset{N}{\Σ}}{\left(P_i\right(k|k\left)\right)}^{-1}{\hat{x}}_i\left(k\right|k)\\ -\underset{i=1}{\overset{N}{\Σ}}\left(P_i\right(k|k-1\left)\right){\hat{x}}_i\left(k\right|k-1)\]\end{array}---\left(16\right)$

${\left(P\right(k\left)\right)}^{-1}={\left(P^{-}\right(k\left)\right)}^{-1}+\underset{i=1}{\overset{N}{\Σ}}{\left(P_i\right(k|k\left)\right)}^{-1}-\underset{i=1}{\overset{N}{\Σ}}{\left(P_i\right(k|k-1\left)\right)}^{-1}---\left(17\right)$

局部状态估计中后验估计误差协方差P_i(k|k)受传感器可信度的影响，从而自适应地为每个输入传感器分配更为准确的权重。使融合结果将包含更多的来自高可信度的传感器输入的数据。

综上所述，本发明实施例提供的自适应视频传感器融合方法及装置，在融合过程中引入视频传感器可信度来评估传感器在目标检测方面的性能，采用传感器的可信度自动调节局部卡尔曼滤波器的测量误差协方差矩阵，自适应地为待融合视频传感器分配更加准确的权重。融合过程中分散式卡尔曼滤波和传感器可信度的结合，可使得来自不同视频传感器的冗余跟踪数据得到充分利用，同时可以有效减少因不正确的目标跟踪和位置映射引起的目标位置误差，提高多传感器数据融合的精确度。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，也可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种自适应视频传感器融合方法，其特征在于，该方法包括：

获取不同视频传感器拍摄运动目标的视频信息，计算出所述运动目标跟踪的精确度作为所述不同视频传感器的可信度，并获得不同视频传感器跟踪运动目标的位置信息，所述位置信息包括所述运动目标的位置；

采用单应变换将来自不同传感器获得的运动目标的位置映射到监控场景的俯视图中；

对所述来自不同传感器的运动目标的位置信息根据所述不同视频传感器的可信度采用局部自适应滤波器进行滤波，得到优化的运动目标的位置状态估计，对不同传感器优化后的运动目标的位置状态估计进行融合。

2.如权利要求1所述的方法，其特征在于，所述计算出所述运动目标跟踪的精确度作为所述不同视频传感器的可信度的步骤包括：

计算属于检测目标块的所有像素在差异图上的总和，其中所述检测目标块包括所述运动目标；

计算属于检测目标块的所有像素在当前帧和参考背景帧之间差异的可能价差的总和；

将检测目标块的所有像素在差异图上的总和与所述可能价差的总和相除，得到所述检测目标块所对应视频传感器的可信度。

3.如权利要求2所述的方法，其特征在于，所述计算于检测目标块的所有像素在差异图上的总和及计算属于检测目标块的所有像素在当前帧和参考背景帧之间差异的可能价差的总和的步骤包括：

对所有像数基于像素在空间上的坐标按颜色通道进行累加操作，所述颜色通道包括红、绿和蓝三色通道。

4.如权利要求1所述的方法，其特征在于，在采用单应变换将来自不同传感器获得的运动目标的位置映射到监控场景的俯视图中的步骤包括：

采用变换矩阵将来自不同传感器的位置数据映射到监控场景的俯视图中，所述变换矩阵根据摄像平面上的关键点和相应俯视图平面上对应的关键点之间的匹配关系计算得到。

5.如权利要求1所述的方法，其特征在于，所述根据所述不同视频传感器的可信度采用局部自适应滤波器进行滤波的步骤包括：

采用视频传感器的可信度自适应地调整分散式卡尔曼滤波结构中各局部卡尔曼滤波器的测量误差协方差矩阵，以调整融合过程中各个视频传感器的权重。

6.如权利要求5所述的方法，其特征在于：所述测量误差协方差矩阵的公式为

$C_i\left(k\right)=\left(\begin{array}{cc}{c}_i^{xx}\left(k\right)& c_i^{xy}\left(k\right)\\ c_i^{yx}\left(k\right)& c_i^{yy}\left(k\right)\end{array}\right)=\left(\begin{array}{cc}{c}_i^{xx}\left(k\right)& 0\\ 0& c_i^{yy}\left(k\right)\end{array}\right)$

其中，c^xy(k)和c^yx(k)为0，c^xx(k)和c^yy(k)的计算式如下：

$c_i^{xx}\left(k\right)=c_i^{yy}\left(k\right)=MV\×\[1-AR\left(b_j^i\right(k\left)\right)\]$

其中MV表示测量误差方差的最大值，表示视频传感器的可信度。

7.如权利要求1所述的方法，其特征在于，所述得到优化的运动目标的位置状态估计的步骤包括：

由当前时刻的状态估计预测下一时刻的状态估计，并得到先验估计误差协方差；

根据预测下一时刻的状态估计及先验估计误差协方差得到校正后下一时刻的状态估计和后验估计误差协方差。

8.如权利要求1所述的方法，其特征在于，所述对不同传感器优化后的运动目标的位置状态估计进行融合的步骤包括：

基于前一时刻的校正的状态估计进行预测；

将预测的状态估计进行计算校正得到最终融合后的全局状态估计结果。

9.如权利要求8所述的方法，其特征在于，所述对不同传感器优化后的运动目标的位置状态估计进行融合的步骤还包括：

将当前时刻全局状态估计结果反馈到下一时刻，作为下一时刻预测步骤的输入。

10.一种自适应视频传感器融合装置，其特征在于，所述装置包括：

可信度计算模块，用于获取不同视频传感器拍摄运动目标的视频信息，计算出目标跟踪的精确度作为所述不同视频传感器的可信度，和不同视频传感器获得的运动目标的位置信息，所述位置信息包括所述运动目标的位置；

位置映射模块，用于采用单应变换将来自不同传感器获得的运动目标的位置映射到监控场景的俯视图中；

融合模块，用于对所述来自不同传感器的运动目标的位置信息根据所述不同视频传感器的可信度采用局部自适应滤波器进行滤波，得到优化的运动目标的位置状态估计，对不同传感器优化后的运动目标的位置状态估计进行融合。