CN101916437A - 一种基于多视觉信息的目标定位方法和系统 - Google Patents

Abstract

本发明公开了一种基于多视觉信息的目标定位方法和系统。所述方法，包括下列步骤：部署多个摄像机节点，每个摄像机节点在待定位平面上建立以各自位置坐标为原点的投影平面坐标系；各个摄像机节点在图像平面上提取目标区域并用最小包围矩形将目标所在区域框出，并计算出矩形框的垂直中线与上边缘、下边缘的交点在投影平面坐标系下的坐标；摄像机节点将计算所得到的两个坐标通过坐标变换转换为世界坐标系下的同一坐标；摄像机节点建立直线方程，并且将直线方程的参数以及分辨率、高度信息按照预定协议打包并发送到簇头节点；簇头节点建立代价函数，令其最小从而实现对目标的精确定位，簇头节点将计算所得的目标位置信息广播返回到各个摄像机节点。

Description

一种基于多视觉信息的目标定位方法和系统

技术领域

本发明涉及无线多媒体传感器网络、视频处理技术领域，特别是涉及一种基于多视觉信息的目标定位方法和系统。

背景技术

近些年来，由于理论研究以及实践应用的推动，无线传感器网络技术已经得到了迅速发展，逐渐被广泛应用于军事、交通、环境和工业生产等领域，实现对周围环境许多物理量的测量与信息的交换。然而随着监测环境的日趋复杂多变，由传统传感器网络所获取的简单数据愈加不能满足人们对环境监测的全面需求；另一方面随着如CMOS摄像头和麦克风等硬件体积小型化以及成本的大幅降低，使得将其集成在小型无线传感器网络节点上成为可能。故近几年人们开始将研究的焦点集中到基于音频、图像、视频等大数据量、大信息量媒体的无线传感器网络上，无线多媒体传感器网络(Wireless Multimedia Sensor Networks，WMSN)应运而生。

无线传感器网络的实际应用中很重要的一个信息则是位置信息，主要是指对目标进行定位。无线传感器网络的定位研究已有多年，已经设计出了许多的测量方案与定位方法。由于现有的卫星定位系统，如美国的全球定位系统(Global Positioning System，GPS)和我国的北斗卫星定位系统等，不仅成本很高，在室内环境或高大建筑物密集城区，卫星定位信号受到建筑物的阻隔，难以有效定位；目前室内定位一般采用射频、无线局域网、超声波等传感信号，其中基于射频信号测距的方法较为简单，但是定位精度比较低，无法满足高精度定位要求；基于无线局域网的指纹匹配方法精度相对较高，但是需要大量的训练过程；基于超声波的定位技术精度相对较高，不过需要使用专门的硬件设施，定位范围相对受限，难以大规模部署；此外上述几种定位方法均是对主动目标进行定位，即需要被定位目标与信标节点之间进行交互。近年来，随着无线多媒体传感器网络的研究兴起与发展，基于计算机视觉的定位方法受到广泛关注。其主要原因是基于计算机视觉的定位不仅观测范围大、定位精度高、部署相对容易、成本正大幅下降，与其它针对主动目标定位技术相比，基于视觉的定位技术可以完全对被动目标进行定位。目前基于计算机视觉的定位已成为传感器网络定位技术的研究热点。

基于计算机视觉的定位方法主要采用计算机视觉技术，如透视投影模型、极线约束模型、平行线消失点测量等方法，利用单摄像机或多摄像机节点的视觉观测信息，对进入观测视野的被动目标进行目标提取、目标描述、目标分类、目标定位、数据关联、目标跟踪等过程，从而实现全面的优化的高精度的被动目标定位跟踪的目的。现有的基于摄像机测量的定位方法是一种基于计算机视觉的方法，只需要提前标定各个摄像机节点所在位置信息和传感方向。

但是已有的这类定位方法研究才刚刚处于起步阶段，并不完善，而且有均有一定的部署限制，图1是在某些场景下无法得到精确的目标位置示意图，如图1所示：

1、在实际应用中摄像机的部署一般并不是理想的使其光轴平行于定位平面，而是有一定的向下的倾角，以使其观测范围更大，如图1(a)所示；

2、由于目标的高度原因，当其处于摄像机观测范围内的某些位置时，摄像机节点可能并不能直接观测到其在定位平面所处的位置，如图1(b)Q点所示，故不能直接对其定位；同样，当目标处于某些位置时，不能观测到其顶部位置，如图1(b)P点所示；

3、由于目标本身的外形不规则或体积很大时或长宽比例很大时，用一般的定位算法所得到的并不准确，如图1(c)所示，通过单个摄像机所获得的目标位置为Q点或Q′点，而目标的真正的位置则为P点。

发明内容

本发明的目的在于提供一种基于多视觉信息的目标定位方法和系统。其实现了基于异构无线多媒体传感器网络中具有倾角的多摄像机节点通过分布式协作模式对被动目标的精确定位。

为实现本发明的目的而提供的一种基于多视觉信息的目标定位方法，包括下列步骤：

步骤100.在待检测区域中部署多个摄像机节点，每个摄像机节点在待定位平面上建立以各自位置坐标为原点的投影平面坐标系；

步骤200.各个所述摄像机节点发现目标后，在图像平面上提取目标区域并用最小包围矩形将目标所在区域框出，寻求矩形框的垂直中线与上边缘、下边缘的交点，并计算出这两个交点在投影平面坐标系下的坐标；

步骤300.每个所述摄像机节点将计算所得到在各自的投影平面坐标系下的两个坐标通过坐标变换转换为世界坐标系下的同一坐标；

步骤400.各个所述摄像机节点通过两点的世界坐标系坐标建立直线方程，并且将所述直线方程的参数以及分辨率、高度等信息按照预定协议打包并发送到簇头节点；

步骤500.所述簇头节点融合各摄像机节点的信息建立代价函数，令其最小从而实现对目标的精确定位，依应用需求，所述簇头节点将计算所得的目标位置信息广播返回到各个摄像机节点。

所述步骤100，包括下列步骤：

步骤110.所述摄像机节点获得自己所处的位置坐标和光轴方向；

步骤120.所述摄像机节点采集一张无任何目标的背景图像存储在自己的内存中；

步骤130.所述摄像机节点以自己的位置坐标为原点建立投影平面坐标系。

所述步骤200，包括下列步骤：

步骤210.所述目标出现后，观测到目标的摄像机节点组织形成一个簇；

步骤220.所述簇内的每个摄像机节点通过将当前场景与存储的背景图象做背景差算法，提取目标所在区域；

步骤230.每个所述摄像机节点将目标所在区域用最小包围矩形框出，计算所述矩形的垂直中线的上端点与下端点在图像平面上的坐标；

步骤240.每个所述摄像机节点将上述两个点在图像平面坐标系下的坐标转换为其所对应的在投影平面坐标系下的坐标。

所述步骤200中，所述两个交点在投影平面坐标系下的坐标为：

$\left\{\begin{array}{c}{p}_x=\frac{2\·m\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·H}{M\·\cos (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}\right))}\\ p_z=H\·\tan (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\right(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}))\end{array}\right.m=-M/2~M/2,k=0~N$

其中，M为摄像机在水平方向上的像素总数，φ_ver为摄像机垂直方向最大视角的一半，H为摄像机距离定位平面的高度，θ为摄像机在垂直方向的倾斜角，f为摄像机焦距，N为摄像机垂直方向的像素总数，p_ver为每个像素在垂直方向的实际物理大小。

所述步骤300中，摄像机节点i在世界坐标系下的坐标记为

围绕y轴的旋转角为则投影点位置P转换为世界坐标系下为：

$\left[\begin{array}{c}{p}_x^w\\ p_z^w\end{array}\right]=R_i^w\·\left[\begin{array}{c}{p}_w\\ p_z\end{array}\right]+t_i^w$

其中，旋转矩阵为平移向量为

步骤400中，对于第i个摄像机节点，可以由目标在投影平面坐标系下的两个投影点

与

确定一条直线L_i：

$\left\{\begin{array}{cc}{Z}_i=a_i\·X_i+b_i,& (p_{x-i}^{w-\mathrm{up}}\≠p_{x-i}^{w-\mathrm{down}})\\ X_i=p_{x-i}^{w-\mathrm{down}},& (p_{x-i}^{w-\mathrm{up}}=p_{x-i}^{w-\mathrm{down}})\end{array}\right.$

其中，当

时：

$a_i=\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}{b}_i=p_{z-i}^{w-\mathrm{down}}-p_{x-i}^{w-\mathrm{down}}\·\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}.$

所述步骤500，包括下列步骤：

步骤510.所述簇头节点接收到簇内所有摄像机节点发来的数据后，联立所有直线方程，建立最小二乘代价函数；

其中，

为目标到直线的距离。

步骤520.所述簇头节点对所述最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标(X，Z)；

目标定位的问题即转化为寻求一点(X，Z)，使得J最小：

$P=\arg \underset{P\∈D}{\min }\left(J\right)$

令J对x，z分别求偏导数并令其分别等于0：

$\left\{\begin{array}{c}\frac{\∂J}{\∂X}=0\\ \frac{\∂J}{\∂Z}=0\end{array}\right.$

步骤530.所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

所述步骤500，包括下列步骤：

步骤510’.通过对簇内各个摄像机节点的分辨率与高度信息进行分析，对每条直线赋予相应的权值，摄像机节点的分辨率越高则权值越大，所处高度H越高则权值越小，定义第i个节点的权值为：

加权最小二乘代价函数为： $J_w=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\δ}}_i\·d_i^2;$

步骤520’.所述簇头节点对所述加权最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标；

目标定位的问题即转化为寻求一点(X，Z)，使得J_w最小：

$P=\arg \underset{P\∈D}{\min }\left(J_w\right)$

同样令

联立求解即可获得异构摄像机观测信息加权融合定位结果。

为实现本发明的目的还提供一种基于多视觉信息的目标定位系统，所述系统，包括：

摄像机部署单元，用于在待检测区域中部署多个摄像机节点，每个摄像机节点在待定位平面上建立以各自位置坐标为原点的投影平面坐标系；

目标粗定位单元，用于在图像平面上提取目标区域并用最小包围矩形将目标所在区域框出，寻求矩形框的垂直中线与上边缘、下边缘的交点，并计算出这两个交点在投影平面坐标系下的坐标；

坐标转换单元，用于将计算所得到在各自的投影平面坐标系下的两个坐标通过坐标变换转换为世界坐标系下的同一坐标；

直线方程构建模块，用于通过两点的世界坐标系坐标建立直线方程，并且将所述直线方程的参数以及分辨率、高度等信息按照预定协议打包并发送到簇头节点；

目标位置计算单元，用于所述簇头节点融合各摄像机节点的信息建立代价函数，令其最小从而实现对目标的精确定位，依应用需求，所述簇头节点将计算所得的目标位置信息广播返回到各个摄像机节点。

所述摄像机部署单元，包括：

自定位模块.用于摄像机节点获得自己所处的位置坐标和光轴方向；

原始背景采集模块，用于采集一张无任何目标的背景图像存储在自己的内存中；

投影平面坐标系建立模块，用于所述摄像机节点以自己的位置坐标为原点建立投影平面坐标系。

所述目标粗定位单元，包括：

建簇模块，用于所述目标出现后，将观测到目标的摄像机节点组织形成一个簇；

目标区域提取模块，用于所述簇内的每个摄像机节点通过将当前场景与存储的背景图象做背景差算法，提取目标所在区域；

交点计算模块，用于将目标所在区域用最小包围矩形框出，计算所述矩形的垂直中线的上端点与下端点在图像平面上的坐标；

坐标变换模块，用于将交点计算模块计算得到的两个交点在图像平面坐标系下的坐标转换为其所对应的在投影平面坐标系下的坐标。

所述目标粗定位单元中，所述两个交点在投影平面坐标系下的坐标为：

$\left\{\begin{array}{c}{p}_x=\frac{2\·m\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·H}{M\·\cos (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}\right))}\\ p_z=H\·\tan (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\right(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}))\end{array}\right.m=-M/2~M/2,k=0~N$

其中，M为摄像机在水平方向上的像素总数，φ_ver为摄像机垂直方向最大视角的一半，H为摄像机距离定位平面的高度，θ为摄像机在垂直方向的倾斜角，f为摄像机焦距，N为摄像机垂直方向的像素总数，p_ver为每个像素在垂直方向的实际物理大小。

所述坐标转换单元中，摄像机节点i在世界坐标系下的坐标记为

围绕y轴的旋转角为

则投影点位置P转换为世界坐标系下为：

$\left[\begin{array}{c}{p}_x^w\\ p_z^w\end{array}\right]=R_i^w\·\left[\begin{array}{c}{p}_w\\ p_z\end{array}\right]+t_i^w$

其中，旋转矩阵为

平移向量为

所述直线方程构建模块中，对于第i个摄像机节点，可以由目标在投影平面坐标系下的两个投影点

与

确定一条直线L_i：

$\left\{\begin{array}{cc}{Z}_i=a_i\·X_i+b_i,& (p_{x-i}^{w-\mathrm{up}}\≠p_{x-i}^{w-\mathrm{down}})\\ X_i=p_{x-i}^{w-\mathrm{down}},& (p_{x-i}^{w-\mathrm{up}}=p_{x-i}^{w-\mathrm{down}})\end{array}\right.$

其中，当

时：

$a_i=\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}{b}_i=p_{z-i}^{w-\mathrm{down}}-p_{x-i}^{w-\mathrm{down}}\·\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}.$

所述目标位置计算单元，包括：

函数构建模块，用于所述簇头节点接收到簇内所有摄像机节点发来的数据后，联立所有直线方程，建立最小二乘代价函数；

其中，

为目标到直线的距离。

求解模块，用于所述簇头节点对所述最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标(X，Z)；

目标定位的问题即转化为寻求一点(X，Z)，使得J最小：

$P=\arg \underset{P\∈D}{\min }\left(J\right)$

令J对x，z分别求偏导数并令其分别等于0：

$\left\{\begin{array}{c}\frac{\∂J}{\∂X}=0\\ \frac{\∂J}{\∂Z}=0\end{array}\right.$

广播模块，用于所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

所述目标位置计算单元，包括：

加权函数构建模块，用于通过对簇内各个摄像机节点的分辨率与高度信息进行分析，对每条直线赋予相应的权值，摄像机节点的分辨率越高则权值越大，所处高度H越高则权值越小，定义第i个节点的权值为：

加权最小二乘代价函数为： $J_w=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\δ}}_i\·d_i^2;$

精确定位模块，用于所述簇头节点对所述加权最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标；

目标定位的问题即转化为寻求一点(X，Z)，使得J_w最小：

$P=\arg \underset{P\∈D}{\min }\left(J_w\right)$

同样令

联立求解即可获得异构摄像机观测信息加权融合定位结果；

目标位置传输模块，用于所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

本发明的有益效果是：

1.采用分布式策略，将背景差提取目标以及目标描述与初定位等主要计算过程分布在各个摄像机节点中进行；

2.从节点的原始观测信息到节点本身的初级计算结果采用显示计算表达式而非迭代性的计算过程，大量减少计算量；

3.通过对具有垂直方向倾角的摄像机节点投影模型的描述，使得该方法适用于更一般的定位情况；

4.通过对异构节点的观测信息置信度分析进一步提出加权定位算法，进一步提高了定位精度；

5.实现完全对被动目标进行定位，无需与目标的交互。

附图说明

图1是在某些场景下无法得到精确的目标位置示意图；

图2是本发明的基于多视觉信息的目标定位方法的步骤流程图；

图3是本发明中摄像机节点在待定位平面上建立以各自位置坐标为原点的投影平面坐标系的步骤流程图；

图4是本发明中背景差算法提取待定位点的示意图；

图5是本发明中计算矩形框的垂直中线与上边缘、下边缘的两个交点在投影平面坐标系下的坐标的步骤流程图；

图6是本发明中CCD垂直方向成像示意图；

图7是本发明中CCD水平方向成像示意图；

图8是本发明中多摄像机节点协同定位示意图；

图9是本发明中簇头节点融合各摄像机节点的信息建立代价函数实现对目标的精确定位的步骤流程图；

图10是本发明中多摄像机节点协作定位的示意图；

图11是本发明中簇头节点融合各摄像机节点的信息建立代价函数实现对目标的精确定位的一实施例的步骤流程图；

图12是具有垂直倾角的CCD成像模型示意图；

图13是本发明的基于多视觉信息的目标定位系统的结构示意图；

图14是本发明的基于多视觉信息的目标定位系统的一实施例的结构示意图；

图15是本发明中CCD摄像机有向下倾角时的垂直方向上的成像模型图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明的一种基于多视觉信息的目标定位方法和系统进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明的一种基于多视觉信息的目标定位方法和系统，用于解决基于异构无线多媒体传感器网络中具有倾角的多摄像机节点通过分布式协作模式对被动目标实现精确定位的问题。综合考虑了更具一般性的具有垂直倾角的投影模型，计算复杂度简单的背景差目标提取方案，分析了异构摄像机节点的观测置信度水平，利用分簇分布式的协作模式，由各个摄像机节点首先建立直线方程，将各个摄像机节点观测到的信息进行融合，然后在簇头节点建立优化函数，从而实现对任意形状体积的被动目标精确定位。

下面结合上述目标详细介绍本发明的一种基于多视觉信息的目标定位方法，图2是本发明的基于多视觉信息的目标定位方法的步骤流程图，如图2所示，所述方法，包括下列步骤：

步骤100.在待检测区域中部署多个摄像机节点，每个摄像机节点建立以各自位置坐标为原点的投影平面坐标系；

所述投影平面，即目标所处的待定位的二维平面。

图3是本发明中摄像机节点在待定位平面上建立以各自位置坐标为原点的投影平面坐标系的步骤流程图，如图3所示，所述步骤100，包括下列步骤：

步骤110.所述摄像机节点通过现有方法获得自己所处的位置坐标和光轴方向；

步骤120.所述摄像机节点采集一张无任何目标的背景图像存储在自己的内存中；

步骤130.所述摄像机节点以各自位置坐标为原点建立投影平面坐标系；

步骤200.各个所述摄像机节点发现目标后，在图像平面上提取目标区域并用最小包围矩形将目标所在区域框出，寻求矩形框的垂直中线与上边缘、下边缘的交点，并计算出这两个交点在投影平面坐标系下的坐标；

所述图像平面，是指摄像机拍摄目标的成像平面。

图4是本发明中背景差算法提取待定位点的示意图，如图4所示，从摄像机节点的图像平面中提取出目标所处的区域，本发明选用计算复杂度低的背景差算法。通过背景差算法后的二值化图像中目标区域很容易得到，一般用最小包围矩形将目标所在区域框出以此作为目标的描述。

图5是本发明中计算矩形框的垂直中线与上边缘、下边缘的两个交点在投影平面坐标系下的坐标的步骤流程图，如图5所示，所述步骤200，包括下列步骤：

步骤210.所述目标出现后，观测到目标的摄像机节点组织形成一个簇；

步骤220.所述簇内的每个摄像机节点通过将当前场景与存储的背景图象做背景差算法，提取目标所在区域；

步骤230.每个所述摄像机节点将目标所在区域用最小包围矩形框出，计算所述矩形的垂直中线的上端点与下端点在图像平面上的坐标；

步骤240.每个所述摄像机节点将上述两个点在图像平面坐标系下的坐标转换为其所对应的在投影平面坐标系下的坐标。

较佳地，本发明提供了一种具有垂直倾角成像模型下的投影定位算法来将每个所述两个点在图像平面坐标系下的坐标转换为其所对应的在投影平面坐标系下的坐标。首先做以下假设：

1)所有的摄像机采用的是相同的传感模型，但异构的摄像机有不同模型参数；

2)所有的摄像机拥有相同的图像处理能力、数据处理能力、无线发送接收能力；

3)每个摄像机已知自己分辨率以及焦距等参数。

4)不考虑多目标，各个摄像机观测到的为同一个目标。

1.具有倾斜角的成像模型

摄像机的基本成像模型采用小孔成像模型。在实践中，摄像机的部署通常是有一定向下的倾角从而可以扩大监控范围获得更多的信息。图15是本发明中CCD摄像机有向下倾角时的垂直方向上的成像模型图，如图15所示，这里φ_ver为摄像机垂直方向最大视角的一半，即视野上(或下)边缘与光轴所形成的夹角；H为摄像机距离定位平面的高度；θ为摄像机在垂直方向的倾斜角；θ_k为CCD垂直方向k个像素p_ver所形成的角度量。如果可以得到待定位点所投影的像素位置而形成的θ_k，外加摄像机的垂直倾角θ，即可得到水平面上目标在z轴方向上的位置D_k的计算方法，之后同样可以得到其在x轴方向上的位置d_k的计算方法。

2.单点投影模型

图6是本发明中CCD垂直方向成像示意图，如图6所示，为了便于对1的理解，首先建立CCD垂直方向的针孔成像示意图，采用视线与光轴之间的夹角θ_n进行描述，从图中很容易获得：

${\mathrm{\θ}}_n=\arctan \left(\frac{n\·p_{\mathrm{ver}}}{f}\right),n=-N/2~N/2---\left(1\right)$

这里f为摄像机焦距，N为CCD垂直方向的像素总数，p_ver为每个像素在垂直方向的实际物理大小。在得到θ_n后，可以获得图2中θ_k的计算方法：

${\mathrm{\θ}}_k={\mathrm{\φ}}_{\mathrm{ver}}+\arctan \left(\frac{n\·p_{\mathrm{ver}}}{f}\right)$

$={\mathrm{\φ}}_{\mathrm{ver}}+\arctan \left(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}\right),k=0~N---\left(2\right)$

从而可以进一步得到目标点在z轴上的位置坐标：

D_k＝H·tan(π/2-(θ+φ_ver)+θ_k)，k＝0～N(3)

同样依靠θ_k可以计算出光心到目标点的距离L_k

$L_k=\frac{H}{\cos (\mathrm{\π}/2-\left({\mathrm{\θ}+\mathrm{\φ}}_{\mathrm{ver}}\right)+{\mathrm{\θ}}_k)}---\left(4\right)$

通过(4)式便得到了目标在平面上z轴方向的坐标，而x方向的位置还未得到。类似于图6，图7是本发明中CCD水平方向成像示意图，如图7所示，建立CCD水平方向光学成像的针孔成像模型，其中f同样为摄像机焦距，L₁、L₂描述了不同的成像距离，D₁与D₂分别表示在与L₁、L₂对应的最大水平观测范围的一半，φ_hor为最大水平视角的一半。由相似三角形的比例几何关系，可以发现：

$\frac{D1}{L1}=\frac{D2}{L2}=\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)=\frac{\frac{M}{2}\·p_{\mathrm{hor}}}{f}---\left(5\right)$

这里M为CCD在水平方向上的像素总数，p_hor为CCD传感器上单个像素的在水平方向实际物理大小。从图4中同样可以发现：

$\frac{d_i}{p_{\mathrm{hor}}}=\frac{L_i}{f},i=\mathrm{1,2}---\left(6\right)$

这里d_i表示在距离光心为L_i时单个像素水平宽度所对应的实际水平方向物理宽度，整理式(5)有：

$\frac{p_{\mathrm{hor}}}{f}=\frac{\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)}{m/2}---\left(7\right)$

联立(6)，(7)式，相对于L_i，单个像素所对应的真实水平物理宽度为：

$d_i=\frac{2\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·L_i}{M}---\left(8\right)$

当检测到目标在成像平面上的水平像素数为m时，该目标的x轴方向坐标为：

$d_m=\frac{2\·m\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·L_i}{M},m=-M/2~M/2---\left(9\right)$

将(4)式带入到(9)式中，可以得到目标的x轴方向坐标算法如下：

$d_m=\frac{2\·m\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·H}{M\·\cos (\mathrm{\π}/2-(\mathrm{\θ}+{\mathrm{\φ}}_{\mathrm{ver}})+{\mathrm{\θ}}_k)},m=-M/2~M/2,k=0~N---\left(10\right)$

综合(3)式与(10)式，得到：

$\left\{\begin{array}{c}{p}_x=\frac{2\·m\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·H}{M\·\cos (\mathrm{\π}/2-(\mathrm{\θ}+{\mathrm{\φ}}_{\mathrm{ver}})+{\mathrm{\θ}}_k)}\\ p_z=H\·\tan (\mathrm{\π}/2-(\mathrm{\θ}+{\mathrm{\φ}}_{\mathrm{ver}})+{\mathrm{\θ}}_k)\end{array}\right.---\left(11\right)$

将(2)式带入(11)式整理得：

$\left\{\begin{array}{c}{p}_x=\frac{2\·m\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·H}{M\·\cos (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}\right))}\\ p_z=H\·\tan (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\right(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}))\end{array}\right.m=-M/2~M/2,k=0~N---\left(12\right)$

步骤300.每个所述摄像机节点将计算所得到在各自的投影平面坐标系下的两个坐标通过坐标变换转换为世界坐标系下的同一坐标；

根据上面的描述，可以得到投影平面坐标系下目标点在x，z轴两个方向上的坐标的计算方法，但是得到的坐标是建立在以各个摄像机的光心所处位置为原点的条件下的，而在多媒体传感器网络实际应用中，必须将各个摄像机节点统一拍摄的目标的坐标统一在同一个标准坐标系下才有意义，一般称为世界坐标系。这里需要将某个摄像机采用式(12)计算所得的目标坐标转换到世界坐标系下的坐标表达。当按照(12)式得到p_x与p_z之后，只需要通过一个旋转矩阵

和一个平移向量

的转换，即可获得目标在世界坐标系下的坐标表达。

转换公式为：所述摄像机节点i在世界坐标系下的坐标记为围绕y轴的旋转角为

则投影点位置P转换为世界坐标系下为：

$\left[\begin{array}{c}{p}_x^w\\ p_z^w\end{array}\right]=R_i^w\·\left[\begin{array}{c}{p}_w\\ p_z\end{array}\right]+t_i^w---\left(13\right)$

其中旋转矩阵为

平移向量为

步骤400.各个所述摄像机节点通过两点的世界坐标系坐标建立直线方程，并且将所述直线方程的参数以及分辨率、高度等信息按照预定协议打包并发送到簇头节点；

在前人的工作中，多是以图4矩形区域的垂直中线与矩形的下边缘的交点作为目标所处位置

本文算法不仅利用该交点，同时利用垂直中线与矩形的上边缘的交点(其实只要是矩形的中垂线上任意两点都可以)。当摄像机节点获得了这两个点在图像平面坐标系下的位置时，即

与

通过(12)式与(13)式，可以计算得到

与

众所周知，已知一个平面上两点可以确定一条直线。故对于第i个摄像机节点，可以由目标在投影平面坐标系下的两个投影点

与

确定一条直线L_i：

$\left\{\begin{array}{cc}\frac{Z_i-p_{z-i}^{w-\mathrm{down}}}{X_i-p_{x-i}^{w-\mathrm{down}}}=\frac{p_{z-w}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}},& (p_{x-i}^{w-\mathrm{up}}\≠p_{x-i}^{w-\mathrm{down}})\\ X_i=p_{x-i}^{w-\mathrm{down}},& (p_{x-i}^{w-\mathrm{up}}=p_{x-i}^{w-\mathrm{down}})\end{array}\right.---\left(14\right)$

简记L_i为：

$\left\{\begin{array}{cc}{Z}_i=a_i\·X_i+b_i,& (p_{x-i}^{w-\mathrm{up}}\≠p_{x-i}^{w-\mathrm{down}})\\ X_i=p_{x-i}^{w-\mathrm{down}},& (p_{x-i}^{w-\mathrm{up}}=p_{x-i}^{w-\mathrm{down}})\end{array}\right.---\left(15\right)$

其中，当

时：

$a_i=\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}{b}_i=p_{z-i}^{w-\mathrm{down}}-p_{x-i}^{w-\mathrm{down}}\·\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}$

步骤500.所述簇头节点融合各摄像机节点的信息建立代价函数，令其最小从而实现对目标的精确定位，依应用需求，所述簇头节点将计算所得的目标位置信息广播返回到各个摄像机节点；

图8是本发明中多摄像机节点协同定位示意图，如图8所示，摄像机节点C₁观测到目标后可以得到目标投影直线L₁，同理，摄像机节点C₂可以得到目标投影直线L₂，显然，最少只需要L₁与L₂两条直线的交点即可获得目标的位置P^target。

然而，上述情况以及定位算法是基于理想情况所描述的，实际中有很多的影响因素会对定位过程造成噪声误差，从而对定位结果的准确性产生影响。这些造成误差的因素包括：

1)摄像机节点的光心位置通常很难进行精确的定位，以及光轴的水平偏转角与垂直倾斜角的不精确会对定位结果引入一定的误差。

2)背景差算法的优势在于计算简单，但该算法中采用最小包围矩形中垂线表示目标真实的位置也会对定位及如果产生一定的影响。

3)(12)、(13)等式的计算均是在摄像机节点上完成，故在计算过程中的一些复杂浮点计算也会引入一定的计算误差。

鉴于上述的各种误差影响，仅仅依靠图8所示的两条直线交点可能会与真实目标位置有较大误差，为了提高定位精度，提出一种利用网络中多个节点间的相互协作，融合其观测信息实现对目标进行精确定位。

图9是本发明中簇头节点融合各摄像机节点的信息建立代价函数实现对目标的精确定位的步骤流程图，如图9所示，所述步骤500，包括下列步骤：

步骤510.所述簇头节点接收到簇内所有摄像机节点发来的数据后，联立所有直线方程，建立最小二乘代价函数；

图10是本发明中多摄像机节点协作定位的示意图，如图10所示，在某个时刻，整个网络中的n个摄像机节点C₁，C₂，…C_n可以共同观测到目标P_t，则依照(12)、(13)式可以获得L₁，L₂，…L_n共计n条共面直线，由于噪声的影响这n条共面直线可能无法相交于同一个点，因此目标定位问题则转换为在投影平面上寻求一点P到这n条直线的距离平方和J最小：

$P=\arg \underset{P\∈D}{\min }\left(J\right)---\left(16\right)$

由(15)式可知，一点(X，Z)到直线的距离为：

$d_i^2=\frac{{(a_i\·X-Z+b_i)}^2}{a_i^2+1},$ $p_{x-i}^{w-\mathrm{up}}\≠p_{x-i}^{w-\mathrm{down}}---\left(17a\right)$

$d_i^2={(X-p_{x-i}^{w-\mathrm{down}})}^2,$ $p_{x-i}^{w-\mathrm{up}}=p_{x-i}^{w-\mathrm{down}}---\left(17b\right)$

设n条直线中有k条的斜率为无穷大，不失一般性，记

采用表达式(17b)，

采用表达式(17a)，故可以得到所有直线方程的最小二乘代价函数：

$J=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i^2=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}{d}_i^2+\underset{i=k+1}{\overset{n}{\mathrm{\Σ}}}{d}_i^2---\left(18\right)$

步骤520.所述簇头节点对所述最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标；

令J对x，z分别求偏导数并令其分别等于0：

$\left\{\begin{array}{c}\frac{\∂J}{\∂X}=0\\ \frac{\∂J}{\∂Z}=0\end{array}\right.---\left(19\right)$

式(19)的解(X，Z)即为目标在最小二乘意义下的最优解。

步骤530.所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

当有目标产生移动时，重复执行步骤200-500，对目标进行持续的精确定位。

较佳地，由于存在对异构摄像机节点的情况，还需要考虑受到各个摄像机的分辨率、高度等因素的影响，需要对观测信息进行置信度分析，可以对摄像机节点的观测信息赋予不同的权值，其分辨率越高则权值越大，所处高度H越高则权值越小，因此，本发明的一种基于多视觉信息的目标定位方法，还包括步骤510’和520’以替代步骤510和520，图11是本发明中簇头节点融合各摄像机节点的信息建立代价函数实现对目标的精确定位的一实施例的步骤流程图，如图11所示：

步骤510’.通过对簇内各个摄像机节点的分辨率与高度信息进行分析，对每条直线赋予相应的权值，建立加权最小二乘代价函数。

上文中提出的通过多节点信息融合的目标定位算法，式(18)是以各个摄像机完全同构的基础上得出的，故其中各个

是等权值相加。

图12是具有垂直倾角的CCD成像模型示意图，如图12所示，具有向下倾斜角的摄像机CCD的像素所映射的实际区域成为一个等腰梯形范围。当目标所处位置处于黑色五角星所在的四边形内时，其所成像的像素位置为CCD上黑色圆点处，故以黑色圆观测点的位置通过上述算法所获得的目标世界坐标均认为黑色五角星点，所以当小四边形的范围越小，通过单个像素为止所计算出的目标位置越为精确，而影响单个像素所形成的四边形面积的因素主要有两个，一是CCD的分辨率，一是摄像机节点所处的高度。相同的CCD面积如果分辨率越高，图8所示的等腰梯形被分割的越密集，每个小四边形面积越小，对实际定位区域的分辨也更高，计算所得的坐标越准确；摄像机所处的高度H越大，所能观测的实际区域范围(图8的等腰梯形)越大，当CCD分辨率固定式对实际区域的分辨则越低，每个像素对应的四边形面积便越大，计算所得的目标世界坐标越不准确。

基于上述对异构摄像机节点的置信度分析，可以对摄像机节点的观测信息赋予不同的权值，其分辨率越高则权值越大，所处高度H越高则权值越小，定义第i个节点的权值为：

${\mathrm{\δ}}_i=\frac{\frac{M_i\·N_i}{H_i}}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{M_i\·N_i}{H_i}}---\left(20\right)$

则： $J_w=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\δ}}_i{d}_i^2---\left(21\right)$

步骤520’.所述簇头节点对所述加权最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标；

目标定位的问题即转化为寻求一点(X，Z)，使得J_w最小：

$P=\arg \underset{P\∈D}{\min }\left(J_w\right)---\left(22\right)$

同样令

联立求解即可获得异构摄像机观测信息加权融合定位结果；

步骤530’.所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

相应于本发明的一种基于多视觉信息的目标定位方法，还提供一种基于多视觉信息的目标定位系统，图13是本发明的基于多视觉信息的目标定位系统的结构示意图，如图13所示，所述系统，包括：

摄像机部署单元1，用于在待检测区域中部署多个摄像机节点，每个摄像机节点在待定位平面上建立以各自位置坐标为原点的投影平面坐标系；

所述摄像机部署单元1，包括：

自定位模块11，用于摄像机节点获得自己所处的位置坐标和光轴方向；

原始背景采集模块12，用于采集一张无任何目标的背景图像存储在自己的内存中；

投影平面坐标系建立模块13，用于所述摄像机节点以自己的位置坐标为原点建立投影平面坐标系。

目标粗定位单元2，用于在图像平面上提取目标区域并用最小包围矩形将目标所在区域框出，寻求矩形框的垂直中线与上边缘、下边缘的交点，并计算出这两个交点在投影平面坐标系下的坐标；

所述目标粗定位单元2，包括：

建簇模块21，用于所述目标出现后，将观测到目标的摄像机节点组织形成一个簇；

目标区域提取模块22，用于所述簇内的每个摄像机节点通过将当前场景与存储的背景图象做背景差算法，提取目标所在区域；

交点计算模块23，用于将目标所在区域用最小包围矩形框出，计算所述矩形的垂直中线的上端点与下端点在图像平面上的坐标；

坐标变换模块24，用于将交点计算模块计算得到的两个交点在图像平面坐标系下的坐标转换为其所对应的在投影平面坐标系下的坐标。

所述目标粗定位单元2中，所述两个交点在投影平面坐标系下的坐标为：

$\left\{\begin{array}{c}{p}_x=\frac{2\·m\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·H}{M\·\cos (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}\right))}\\ p_z=H\·\tan (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\right(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}))\end{array}\right.m=-M/2~M/2,k=0~N$

其中，M为摄像机在水平方向上的像素总数，φ_ver为摄像机垂直方向最大视角的一半，H为摄像机距离定位平面的高度，θ为摄像机在垂直方向的倾斜角，f为摄像机焦距，N为摄像机垂直方向的像素总数，p_ver为每个像素在垂直方向的实际物理大小。

坐标转换单元3，用于将计算所得到在各自的投影平面坐标系下的两个坐标通过坐标变换转换为世界坐标系下的同一坐标；

所述坐标转换单元3中，摄像机节点i在世界坐标系下的坐标记为围绕y轴的旋转角为则投影点位置P转换为世界坐标系下为：

$\left[\begin{array}{c}{p}_x^w\\ p_z^w\end{array}\right]=R_i^w\·\left[\begin{array}{c}{p}_w\\ p_z\end{array}\right]+t_i^w$

其中，旋转矩阵为

平移向量为

直线方程构建模块4，用于通过两点的世界坐标系坐标建立直线方程，并且将所述直线方程的参数以及分辨率、高度等信息按照预定协议打包并发送到簇头节点；

所述直线方程构建模块4中，对于第i个摄像机节点，可以由目标在投影平面坐标系下的两个投影点

与

确定一条直线L_i：

$\left\{\begin{array}{cc}{Z}_i=a_i\·X_i+b_i,& (p_{x-i}^{w-\mathrm{up}}\≠p_{x-i}^{w-\mathrm{down}})\\ X_i=p_{x-i}^{w-\mathrm{down}},& (p_{x-i}^{w-\mathrm{up}}=p_{x-i}^{w-\mathrm{down}})\end{array}\right.$

其中，当

时：

$a_i=\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}{b}_i=p_{z-i}^{w-\mathrm{down}}-p_{x-i}^{w-\mathrm{down}}\·\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}.$

目标位置计算单元5，用于所述簇头节点融合各摄像机节点的信息建立代价函数，令其最小从而实现对目标的精确定位，依应用需求，所述簇头节点将计算所得的目标位置信息广播返回到各个摄像机节点。

所述目标位置计算单元5，包括：

函数构建模块51，用于所述簇头节点接收到簇内所有摄像机节点发来的数据后，联立所有直线方程，建立最小二乘代价函数；

其中，

为目标到直线的距离。

求解模块52，用于所述簇头节点对所述最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标(X，Z)；

目标定位的问题即转化为寻求一点(X，Z)，使得J最小：

$P=\arg \underset{P\∈D}{\min }\left(J\right)$

令J对x，z分别求偏导数并令其分别等于0：

$\left\{\begin{array}{c}\frac{\∂J}{\∂X}=0\\ \frac{\∂J}{\∂Z}=0\end{array}\right.$

广播模块53，用于所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

图14是本发明的基于多视觉信息的目标定位系统的一实施例的结构示意图，如图14所示，所述目标位置计算单元5，还可以采用如下形式：

加权函数构建模块51’，用于通过对簇内各个摄像机节点的分辨率与高度信息进行分析，对每条直线赋予相应的权值，摄像机节点的分辨率越高则权值越大，所处高度H越高则权值越小，定义第i个节点的权值为：

加权最小二乘代价函数为： $J_w=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\δ}}_i\·d_i^2;$

精确定位模块52’，用于所述簇头节点对所述加权最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标；

目标定位的问题即转化为寻求一点(X，Z)，使得J_w最小：

$P=\arg \underset{P\∈D}{\min }\left(J_w\right)$

同样令

联立求解即可获得异构摄像机观测信息加权融合定位结果；

目标位置传输模块53’，用于所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

本发明的有益效果在于：

1.采用分布式策略，将背景差提取目标以及目标描述与初定位等主要计算过程分布在各个摄像机节点中进行；

2.从节点的原始观测信息到节点本身的初级计算结果采用显示计算表达式而非迭代性的计算过程，大量减少计算量；

3.通过对具有垂直方向倾角的摄像机节点投影模型的描述，使得该方法适用于更一般的定位情况；

4.通过对异构节点的观测信息置信度分析进一步提出加权定位算法，进一步提高了定位精度；

5.实现完全对被动目标进行定位，无需与目标的交互。

通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。

以上对本发明的具体实施例进行了描述和说明，这些实施例应被认为其只是示例性的，并不用于对本发明进行限制，本发明应根据所附的权利要求进行解释。

Claims (16)

1.一种基于多视觉信息的目标定位方法，其特征在于，所述方法，包括下列步骤：

步骤100.在待检测区域中部署多个摄像机节点，每个摄像机节点在待定位平面上建立以各自位置坐标为原点的投影平面坐标系；

步骤200.各个所述摄像机节点发现目标后，在图像平面上提取目标区域并用最小包围矩形将目标所在区域框出，寻求矩形框的垂直中线与上边缘、下边缘的交点，并计算出这两个交点在投影平面坐标系下的坐标；

步骤300.每个所述摄像机节点将计算所得到在各自的投影平面坐标系下的两个坐标通过坐标变换转换为世界坐标系下的同一坐标；

步骤400.各个所述摄像机节点通过两点的世界坐标系坐标建立直线方程，并且将所述直线方程的参数以及分辨率、高度等信息按照预定协议打包并发送到簇头节点；

步骤500.所述簇头节点融合各摄像机节点的信息建立代价函数，令其最小从而实现对目标的精确定位，依应用需求，所述簇头节点将计算所得的目标位置信息广播返回到各个摄像机节点。

2.根据权利要求1所述的基于多视觉信息的目标定位方法，其特征在于，所述步骤100，包括下列步骤：

步骤110.所述摄像机节点获得自己所处的位置坐标和光轴方向；

步骤120.所述摄像机节点采集一张无任何目标的背景图像存储在自己的内存中；

步骤130.所述摄像机节点以自己的位置坐标为原点建立投影平面坐标系。

3.根据权利要求1所述的基于多视觉信息的目标定位方法，其特征在于，所述步骤200，包括下列步骤：

步骤210.所述目标出现后，观测到目标的摄像机节点组织形成一个簇；

步骤220.所述簇内的每个摄像机节点通过将当前场景与存储的背景图象做背景差算法，提取目标所在区域；

步骤230.每个所述摄像机节点将目标所在区域用最小包围矩形框出，计算所述矩形的垂直中线的上端点与下端点在图像平面上的坐标；

步骤240.每个所述摄像机节点将上述两个点在图像平面坐标系下的坐标转换为其所对应的在投影平面坐标系下的坐标。

4.根据权利要求1所述的基于多视觉信息的目标定位方法，其特征在于，所述步骤200中，所述两个交点在投影平面坐标系下的坐标为：

$\left\{\begin{array}{c}{p}_x=\frac{2\·m\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·H}{M\·\cos (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}\right))}\\ p_z=H\·\tan (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\right(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}))\end{array}\right.m=-M/2~M/2,k=0~N$

其中，M为摄像机在水平方向上的像素总数，φ_ver为摄像机垂直方向最大视角的一半，H为摄像机距离定位平面的高度，θ为摄像机在垂直方向的倾斜角，f为摄像机焦距，N为摄像机垂直方向的像素总数，p_ver为每个像素在垂直方向的实际物理大小。

5.根据权利要求1所述的基于多视觉信息的目标定位方法，其特征在于，所述步骤300中，摄像机节点i在世界坐标系下的坐标记为

围绕y轴的旋转角为则投影点位置P转换为世界坐标系下为：

$\left[\begin{array}{c}{p}_x^w\\ p_z^w\end{array}\right]=R_i^w\·\left[\begin{array}{c}{p}_w\\ p_z\end{array}\right]+t_i^w$

其中，旋转矩阵为

平移向量为

6.根据权利要求1所述的基于多视觉信息的目标定位方法，其特征在于，步骤400中，对于第i个摄像机节点，可以由目标在投影平面坐标系下的两个投影点与确定一条直线L_i：

$\left\{\begin{array}{cc}{Z}_i=a_i\·X_i+b_i,& (p_{x-i}^{w-\mathrm{up}}\≠p_{x-i}^{w-\mathrm{down}})\\ X_i=p_{x-i}^{w-\mathrm{down}},& (p_{x-i}^{w-\mathrm{up}}=p_{x-i}^{w-\mathrm{down}})\end{array}\right.$

其中，当时：

$a_i=\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}{b}_i=p_{z-i}^{w-\mathrm{down}}-p_{x-i}^{w-\mathrm{down}}\·\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}.$

7.根据权利要求1所述的基于多视觉信息的目标定位方法，其特征在于，所述步骤500，包括下列步骤：

步骤510.所述簇头节点接收到簇内所有摄像机节点发来的数据后，联立所有直线方程，建立最小二乘代价函数；

其中，

为目标到直线的距离。

步骤520.所述簇头节点对所述最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标(X，Z)；

目标定位的问题即转化为寻求一点(X，Z)，使得J最小：

$P=\arg \underset{P\∈D}{\min }\left(J\right)$

令J对x，z分别求偏导数并令其分别等于0：

$\left\{\begin{array}{c}\frac{\∂J}{\∂X}=0\\ \frac{\∂J}{\∂Z}=0\end{array}\right.$

步骤530.所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

8.根据权利要求1所述的基于多视觉信息的目标定位方法，其特征在于，所述步骤500，包括下列步骤：

步骤510’.通过对簇内各个摄像机节点的分辨率与高度信息进行分析，对每条直线赋予相应的权值，摄像机节点的分辨率越高则权值越大，所处高度H越高则权值越小，定义第i个节点的权值为：

加权最小二乘代价函数为： $J_w=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\δ}}_i\·d_i^2$

步骤520’.所述簇头节点对所述加权最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标；

目标定位的问题即转化为寻求一点(X，Z)，使得J_w最小：

$P=\arg \underset{P\∈D}{\min }\left(J_w\right)$

同样令

联立求解即可获得异构摄像机观测信息加权融合定位结果；

步骤530’.所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

9.一种基于多视觉信息的目标定位系统，其特征在于，所述系统，包括：

摄像机部署单元，用于在待检测区域中部署多个摄像机节点，每个摄像机节点在待定位平面上建立以各自位置坐标为原点的投影平面坐标系；

目标粗定位单元，用于在图像平面上提取目标区域并用最小包围矩形将目标所在区域框出，寻求矩形框的垂直中线与上边缘、下边缘的交点，并计算出这两个交点在投影平面坐标系下的坐标；

坐标转换单元，用于将计算所得到在各自的投影平面坐标系下的两个坐标通过坐标变换转换为世界坐标系下的同一坐标；

直线方程构建模块，用于通过两点的世界坐标系坐标建立直线方程，并且将所述直线方程的参数以及分辨率、高度等信息按照预定协议打包并发送到簇头节点；

目标位置计算单元，用于所述簇头节点融合各摄像机节点的信息建立代价函数，令其最小从而实现对目标的精确定位，依应用需求，所述簇头节点将计算所得的目标位置信息广播返回到各个摄像机节点。

10.根据权利要求9所述的基于多视觉信息的目标定位系统，其特征在于，所述摄像机部署单元，包括：

自定位模块.用于摄像机节点获得自己所处的位置坐标和光轴方向；

原始背景采集模块，用于采集一张无任何目标的背景图像存储在自己的内存中；

投影平面坐标系建立模块，用于所述摄像机节点以自己的位置坐标为原点建立投影平面坐标系。

11.根据权利要求9所述的基于多视觉信息的目标定位系统，其特征在于，所述目标粗定位单元，包括：

建簇模块，用于所述目标出现后，将观测到目标的摄像机节点组织形成一个簇；

目标区域提取模块，用于所述簇内的每个摄像机节点通过将当前场景与存储的背景图象做背景差算法，提取目标所在区域；

交点计算模块，用于将目标所在区域用最小包围矩形框出，计算所述矩形的垂直中线的上端点与下端点在图像平面上的坐标；

坐标变换模块，用于将交点计算模块计算得到的两个交点在图像平面坐标系下的坐标转换为其所对应的在投影平面坐标系下的坐标。

12.根据权利要求9所述的基于多视觉信息的目标定位系统，其特征在于，所述目标粗定位单元中，所述两个交点在投影平面坐标系下的坐标为：

$\left\{\begin{array}{c}{p}_x=\frac{2\·m\·\tan \left({\mathrm{\φ}}_{\mathrm{hor}}\right)\·H}{M\·\cos (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}\right))}\\ p_z=H\·\tan (\mathrm{\π}/2-\mathrm{\θ}+\arctan \left(\right(\frac{(k-N/2)\·p_{\mathrm{ver}}}{f}))\end{array}\right.m=-M/2~M/2,k=0~N$

其中，M为摄像机在水平方向上的像素总数，φ_ver为摄像机垂直方向最大视角的一半，H为摄像机距离定位平面的高度，θ为摄像机在垂直方向的倾斜角，f为摄像机焦距，N为摄像机垂直方向的像素总数，p_ver为每个像素在垂直方向的实际物理大小。

13.根据权利要求9所述的基于多视觉信息的目标定位系统，其特征在于，所述坐标转换单元中，摄像机节点i在世界坐标系下的坐标记为

围绕y轴的旋转角为

则投影点位置P转换为世界坐标系下为：

$\left[\begin{array}{c}{p}_x^w\\ p_z^w\end{array}\right]=R_i^w\·\left[\begin{array}{c}{p}_w\\ p_z\end{array}\right]+t_i^w$

其中，旋转矩阵为

平移向量为

14.根据权利要求9所述的基于多视觉信息的目标定位系统，其特征在于，所述直线方程构建模块中，对于第i个摄像机节点，可以由目标在投影平面坐标系下的两个投影点

与

确定一条直线L_i：

$\left\{\begin{array}{cc}{Z}_i=a_i\·X_i+b_i,& (p_{x-i}^{w-\mathrm{up}}\≠p_{x-i}^{w-\mathrm{down}})\\ X_i=p_{x-i}^{w-\mathrm{down}},& (p_{x-i}^{w-\mathrm{up}}=p_{x-i}^{w-\mathrm{down}})\end{array}\right.$

其中，当

时：

$a_i=\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}{b}_i=p_{z-i}^{w-\mathrm{down}}-p_{x-i}^{w-\mathrm{down}}\·\frac{p_{z-i}^{w-\mathrm{up}}-p_{z-i}^{w-\mathrm{down}}}{p_{x-i}^{w-\mathrm{up}}-p_{x-i}^{w-\mathrm{down}}}.$

15.根据权利要求9所述的基于多视觉信息的目标定位系统，其特征在于，所述目标位置计算单元，包括：

函数构建模块，用于所述簇头节点接收到簇内所有摄像机节点发来的数据后，联立所有直线方程，建立最小二乘代价函数；

其中，

为目标到直线的距离。

求解模块，用于所述簇头节点对所述最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标(X，Z)；

目标定位的问题即转化为寻求一点(X，Z)，使得J最小：

$P=\arg \underset{P\∈D}{\min }\left(J\right)$

令J对x，z分别求偏导数并令其分别等于0：

$\left\{\begin{array}{c}\frac{\∂J}{\∂X}=0\\ \frac{\∂J}{\∂Z}=0\end{array}\right.$

广播模块，用于所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

16.根据权利要求9所述的基于多视觉信息的目标定位系统，其特征在于，所述目标位置计算单元，包括：

加权函数构建模块，用于通过对簇内各个摄像机节点的分辨率与高度信息进行分析，对每条直线赋予相应的权值，摄像机节点的分辨率越高则权值越大，所处高度H越高则权值越小，定义第i个节点的权值为：

加权最小二乘代价函数为： $J_w=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\δ}}_i\·d_i^2;$

精确定位模块，用于所述簇头节点对所述加权最小二乘代价函数进行求解，求得最小二乘意义下的最优解，即为目标所处位置坐标；

目标定位的问题即转化为寻求一点(X，Z)，使得J_w最小：

$P=\arg \underset{P\∈D}{\min }\left(J_w\right)$

同样令

联立求解即可获得异构摄像机观测信息加权融合定位结果；

目标位置传输模块，用于所述簇头节点将计算所得的目标位置以广播的形式发送到簇内的每个摄像机节点。

Images