CN101930603B - 中高速传感器网络图像数据融合的方法 - Google Patents

Abstract

本发明公开了中高速传感器网络图像数据融合的方法。该方法包括步骤：中高速传感器网络中的工作节点通过无线连接两个摄像头采集图像并提取图像特征，匹配特征并计算单应性矩阵，融合图像，将图像的特征和融合的结果发送至处理节点，处理节点对接收到的特征进行全局特征匹配，根据全局特征匹配结果建立工作节点图像的无向图，采用深度优先搜索法求子图的个数，对于每一个子图处理节点采用Levenberg-Marquardt算法优化图像投影参数并校正摄像头畸变和均匀化曝光值，将图像投影到球面坐标上融合。本发明提供了一种中高速传感器网络中减少冗余数据，减轻网络负载，提高图像的空间分辨率和质量的方法。

Description

中高速传感器网络图像数据融合的方法

技术领域

本发明涉及传感器网络技术，具体涉及中高速传感器网络环境中图像数据的融合方法。

背景技术

近年来，多传感器信息融合特别是多传感器图像融合是国内外的研究热点，它在自动目标识别、计算机视觉、机器人、遥感、医学图像处理和军事运用等领域有着广泛的运用。所谓图像数据融合就是对来自不同图像传感器的图像的数据加以联合、相关和组合以获得更加准确而全面信息。通过图像数据融合算法将两个或者多个具有互补和冗余特征的图像融合成新的图像，使得融合后的图像能最大限度利用互补信息，减小冗余，从而获得更高的清晰度和可理解性，而且为进一步的图像处理如图像分割、目标检测和识别等提供了更有效的信息。图像数据融合从下面几个方面提高了中高速传感器网络的性能：

(1)扩展了系统的覆盖范围，能够获得更加丰富的环境信息。

(2)融合过程中消除了各个传感器之间存在的冗余数据，能够有效减小网络负载和节点的负担。

(3)提高系统的可靠性和鲁棒性，因为数据是从多个传感器获得，单一个或者多个传感器失效或者出现错误时，系统仍然继续工作。

中高速传感器网络是指具有实时性要求的传感器网络，包括工业实时控制的传感器网络和无线多媒体传感器网络等新型传感器网络，网络中信息传输速率在512kbit/s以上。不同于传统的低速传感器网络，传统的传感器网络往往只需要处理数据量很少的标量数据，而在中高速传感器网络需要实时处理大量的多媒体数据，不但网络中的节点的工作任务大大加大，对于网络带宽的需求也是成倍增加，在这种情况下，中高速传感器网络的数据融合就显得尤为必要。

发明内容

本发明的目的在于克服现有技术存在的上述不足的问题，提供中高速传感器网络图像数据融合的方法。本发明通过如下技术方案实现：

中高速传感器网络图像数据融合的方法，中高速传感器网络中的簇由处理节点、工作节点及无线连接组成，每个工作节点通过无线网络连接两个摄像头采集图像数据，所述方法包括如下步骤：

(1)工作节点采集完图像数据后，分别提取两幅图像的特征，采用优先KD树特征进行匹配，利用匹配的特征使用RANSAC算法求取图像间的单应性矩阵，根据单应性矩阵做两幅图像的融合，将融合的结果和图像的特征发送至处理节点；

(2)处理节点把收到的特征进行全局特征匹配，根据全局特征匹配结果建立图像的无向图，对于每一个无向图中的图像数据，处理节点采用Levenberg-Marquardt算法优化图像投影参数，所述图像投影参数包括俯仰角、偏转角、绕相机光轴旋转角及相机光心偏移，在获取图像投影参数后，再次采用Levenberg-Marquardt算法对摄像头的径向畸变进行校正和曝光度均衡，利用优化后的图像投影参数把所有图像投影到球面坐标进行融合，对于不能融合的图像进行转发到其他处理节点或者舍弃；

(3)处理节点每隔一段时间重复步骤(2)，并根据簇内节点拓扑结构的变化调整间隔时间。

上述的中高速传感器网络图像数据融合的方法中，每个工作节点通过无线网络连接两个摄像头，每个工作节点中的所述两个摄像头的视角存在重叠区域，且所有摄像头采集的图像的像素精度和图像大小一致。

上述的中高速传感器网络图像数据融合的方法中，步骤(1)工作节点所提取特征为改进的尺度不变特征，提取方法为：

(1.1)构造octvs×intvls的图像高斯尺度空间，其中

octvs＝log(min(img_width，img_heigth))/log(2)-2，min为取最小值，intvls＝6，img_width为图像的宽度，img_heigth为图像的高度，将相邻尺度空间图像相减得到高斯差分空间；

(1.2)求取高斯差分空间的极值：设高斯差分空间中间层图像img_mid的像素点坐标为(x，y)，图像img_mid的上一层设为图像img_high，im_mid的下一层为图像img_low，图像img_high和图像img_low内的像素点坐标分别为(x’，y’)、(x”，y”)，像素点(x，y)邻域内的8个像素点设为集合PT1，像素点(x’，y’)及(x’，y’)邻域内的8个像素点设为集合PT2，像素点(x”，y”)及(x”，y”)邻域内的8个像素点设为集合PT3，x＝x’＝x”，y＝y’＝y”，，将像素点(x，y)与集合PT1 U PT2 U PT3内的像素点逐一进行比较，求得最大值或最小值的极值点，采用三维二次函数拟合的方法对极值点精确定位，保存精确定位后的极值点(x，y)；

(1.3)然后判断各个极值点的临域内是否存在哈里斯角点，如果存在显著的哈里斯角点，那么保留该极值点，否则丢弃该极值点，判断方法为：不同尺度空间角点检测的公式为：

$C(x,y,{\mathrm{\δ}}_I,{\mathrm{\δ}}_F)=G(x,y,{\mathrm{\δ}}_I)\×\left[\begin{array}{cc}{I}_x^2(x,{\mathrm{\δ}}_F)& I_x{I}_y(x,{\mathrm{\δ}}_F)\\ I_x{I}_y(x,{\mathrm{\δ}}_F)& I_y^2(x,{\mathrm{\δ}}_F)\end{array}\right]$

其中I_x、I_y为图像x，y方向的梯度值，δ_I为高斯卷积核，δ_F为特征点所在的尺度，哈里斯角点

corner＝det(C(x，y，δ_I，δ_F))-q×trace²(C(x，y，δ_I，δ_F))，det为C(x，y，δ_I，δ_F)矩阵的行列式值，trace为C(x，y，δ_I，δ_F)矩阵的迹，q的取值为0.04-0.06，corner值超过一定阈值则认为是显著的哈里斯角点，否则丢弃该极值点，保留下来的极值点就是特征点；

(1.4)计算特征点的方向：利用特征点邻域像素的梯度及方向分布的特性，可以得到特征点(x，y)的梯度模值和梯度方向如下：

$m(x,y)=\sqrt{{(Z(x+1,y)-Z(x-1,y))}^2+{(Z(x,y+1)-Z(x,y-1))}^2}$

θ(x，y)＝tan^-1((Z(x，y+1)-Z(x，y-1))/(Z(x+1，y)-Z(x-1，y)))

m(x，y)为梯度模值，θ(x，y)为梯度方向，Z为特征点(x，y)所在尺度空间的像素值。在以特征点为中心的邻域窗口内采样，并用直方图统计邻域像素内的梯度方向，梯度直方图的范围0-360度，每10度一个方向，计算梯度直方图值使用一个方差等于所在尺度1.5倍的高斯权重窗对直方图加权，以直方图中的最大值作为该特征点的主方向，保留超过直方图峰值80％的梯度方向；

(1.5)生成特征描述符：将坐标轴旋转为特征点的方向，以当前特征点为中心选取16×16的窗口，以一个方差等于该16×16的窗口宽度的1/2的高斯权重对梯度模值进行加权，将16×16的窗口分割为4×4的子窗口，将0-360度均匀地划分为8个方向，每45度为一个方向，对于每一个子窗口计算该8个方向的梯度方向直方图，对4×4子窗口的8个方向梯度直方图按照位置依次排序得到4×4×8＝128维向量的特征描述符。

上述的中高速传感器网络图像数据融合的方法中，步骤(2)根据处理节点接收到的图像特征进行全局特征匹配，全局特征匹配的方法如下：

(2.1)对于每一副图像，用它的每一个特征点在其他n-1个图像的进行优先KD树搜索，获取误差最小的t个对应点；

(2.2)对该图像，用第一步找到的t个特征点和其他图像特征点匹配，获得特征点匹配最多的前f_k幅匹配对象；

(2.3)对该图像分别与前面的f_k幅匹配图像，用RANSAC算法计算内点数V_n，若满足P_n*λ+η＜V_n，P_n为总的特征点对数，V_n为总内点对数，则认为这两幅图像是能够匹配的，λ＝0.2，η＝5.0，t＝，f_k＝4。

上述的中高速传感器网络图像数据融合的方法中，步骤(2)所述根据全局特征匹配结果建立无向图具体为：无向图以图像为顶点，如果两幅图像能够匹配则认为这两个顶点之间存在一条边，采用深度优先遍历法求无向图的个数，对于每个无向图中的图像分别进行投影参数优化和摄像头畸变校正和曝光值均衡，利用优化后的投影参数将所有图像投影到单位球面坐标上融合，融合的起始图像为含有最多边的顶点所对应的图像，对于仅有一个顶点的图对应的图像转发到其他处理节点或丢弃，在每个子图中拥有最多边的顶点对应的图像是该图图像融合时的起始图像。

上述的中高速传感器网络图像数据融合的方法中，步骤(2)通过采用Levenberg-Marquardt算法最小化两幅图像之间灰度值变换误差，来校正摄像头径向畸变均匀化曝光值，具体为：

图像的灰度值G＝f(w_ieML)，其中f为相机的响应曲线

f₀为平均响应曲线，a_l为响应曲线的形状类型，h_l为摄像头响应曲线中的第l个主要成分，l的最大值为3，e为第i个图像颜色通道的曝光值，w_i为第i个图像颜色通道的白平衡系数，绿颜色通道的白平衡系数为1，M为像素值随着空间变化而变化的关系函数，每个图像颜色通道的f函数都是相同的，M＝β₁r⁶+β₂r⁴+β₃r²+1，r＝||coord-c||₂为当前坐标coord到图像中心点c的欧氏距离，L为辐射率，对于包含N对匹配特征的两幅图像，优化的目标函数为

其中d为欧氏距离，N为匹配的特征对数，τ^-1为τ的逆函数，G_i1，G_i2匹配特征在两幅图像中的灰度值，函数τ表示匹配特征点灰度值的相互关系，

e_i1为第一幅图像的曝光值，e_i2为第二幅图像的曝光值，M(x_i1)为第一幅图像的M函数，M(x_i2)为第二图像的M函数，优化的参数为e，w_i，a_l，β₁，β₂，β₃，使用优化后的参数重新根据函数G＝f(w_ieML)计算图像的像素值，通过校正摄像头畸变和均匀化曝光值可以得到质量更高的图像数据。

上述的中高速传感器网络图像数据融合的方法中，步骤(1)和步骤(2)所述融合为渐入渐出法，该方法具体为：设img1和img2为待融合的两幅图像，融合后得到图像img3，则img3的像素img3(wh，ht)的计算方法如下：

$\mathrm{img}3(\mathrm{wh},\mathrm{ht})=\left\{\begin{array}{cc}\mathrm{img}1(\mathrm{wh},\mathrm{ht})& (\mathrm{wh},\mathrm{ht})\∈\mathrm{img}1\\ d_1\mathrm{img}1(\mathrm{wh},\mathrm{ht})+d_2\mathrm{img}2(\mathrm{wh},\mathrm{ht})& (\mathrm{wh},\mathrm{ht})\∈(\mathrm{img}1\∩\mathrm{img}2)\\ \mathrm{img}2(\mathrm{wh},\mathrm{ht})& (\mathrm{wh},\mathrm{ht})\∈\mathrm{img}2\end{array}\right.$

(wh，ht)为图像像素的横坐标和纵坐标，img1(wh，ht)，img2(wh，th)分别为图像img1和img2在(wh，ht)处的像素值，d₁，d₂为渐变因子，且d₁+d₂＝1，0≤d₁，d₂≤1，对于横坐标为wh的像素点，重叠区域左右边界的横坐标分别为x_l和x_r，d₁，d₂的计算方法为：

$d_1=\frac{x_r-\mathrm{wh}}{x_r-x_l},$ $d_2=\frac{\mathrm{wh}-x_l}{x_r-x_l}$

上述的中高速传感器网络图像数据融合的方法中，步骤(3)处理节点每隔一段时间进行一次全局融合并根据簇内节点的拓扑变化而调整间隔时间，当有多个工作节点同时向处理节点发送数据时，处理节点只能顺序接收数据，为了融合更多的节点数据，处理节点必须保证有相应的时间来接收数据，同时如有新的节点加入或有节点失效，处理节点的工作任务也随之加重或减轻，需对间隔时间作出调整。

与现有技术相比，本发明的优点与积极效果在于：

1、提取图像改进的尺度不变特征，增强了特征的稳定性，可以提高图像融合的精度和质量。

2、建立图像数据的无向图，一方面可以确定全局优化的顺序，另一方面可以剔除不匹配的图像，对不能匹配的图像进行转发或者其他处理，增加了网络的智能性。

3、.采用Levenberg-Marquardt算法优化进行全局优化，其作用在于不需要对工作节点的摄像头做严格的限制，只需要保证工作节点采集的图像存在一定量的重叠区域即可，而且不需要对摄像头的地理位置坐任何假设，有利于网络的组建。

4、.采用Levenberg-Marquardt算法优化摄像头畸变的参数，对节点摄像头采集的图像进行优化，消除图像的径向畸变和光心偏移，在较低硬件成本的条件下获得好的融合效果。

5、当前并没有合适的能够运用于中高速传感器网络中的数据融合算法，该方法填补了这一项空白，能够减小网络中的冗余数据，提高网络负载，延长节点寿命，提高网络智能性，获取更加丰富全面的信息。

附图说明

图1是本发明具体实施方式中的网络架构图。

图2是本发明具体实施方式中中高速传感器网络图像数据融合的流程图。

图3是本发明具体实施方式中的渐入渐出图像融合法的示意图。

图4是本发明具体实施方式中建立节点图像的无向图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明，但本发明的实施和保护范围不限于此。

中高速传感器传感器网络图像数据融合的网络结构如图1所示，每个簇由处理节点，工作节点，摄像头与无线连接构成，每个工作节点通过无线网络固定与两个摄像头相连，摄像头可以任意移动或旋转但是要保证其获取的图像存在一定的重叠区域，且所有摄像头采集的图像的像素精度和图像大小一致。各个工作节点的摄像头的摆放也可以较为随意，但如果希望各个工作节点之间的图像数据能够得到较好的融合，那么每个工作的两个摄像头的图像至少跟另外一个工作的节点摄像头图像存在重叠区域。

如附图2所示，中高速传感器网络图像数据融合的工作流程如下：摄像头采集图像数据经由无线网络发送至工作节点，工作节点接收到图像数据后提取图像特征，采用优先KD树匹配特征，利用匹配的特征采用RANSAC算法求取单应性矩阵，再利用单应性矩阵使用渐入渐出法对图像进行融合，融合完毕将图像的特征和融合结果发送至处理节点，处理节点对图像的特征进行全局匹配，根据全局匹配的结果建立图像数据的无向图，采用深度优先搜索无向图求取子图个数，对每个子图的图像数据使用Levenberg-Marquardt算法优化投影参数和校正摄像头畸变并均匀化曝光度，利用优化后的投影参数将图像投影到球面坐标上融合，对于不能融合的图像转发到其他处理节点或者舍弃。

工作节点提取改进的尺度不变特征的的具体实施步骤如下：

(1)构造octvs×intvls的图像高斯尺度空间，其中

octvs＝log(min(img_width，img_heigth))/log(2)-2，min为取最小值，intvls＝6，img_width为图像的宽度，img_heigth为图像的高度，将相邻尺度空间图像相减得到高斯差分空间；

(2)求取高斯差分空间的极值：设(x，y)为高斯差分空间中间层图像img_mid的像素点，图像img_mid的上一层设为图像img_high，im_mid的下一层为图像img_low，(x’，y’)、(x”，y”)分别为图像img_high和图像img_low内的像素点，像素点(x，y)邻域内的8个像素点设为集合PT1，像素点(x’，y’)及(x’，y’)邻域内的8个像素点设为集合PT2，(x”，y”)及(x”，y”)邻域内的8个像素点设为集合PT3，x＝x’＝x”，y＝y’＝y”，将(x，y)像素点与集合PT1 U PT2 U PT3内的像素点逐一进行比较，求得最大值或最小值，采用三维二次函数拟合的方法对极值点精确定位，保存精确定位后的极值点(x，y)；

(3)然后判断各个极值点的临域内是否存在哈里斯角点，如果存在显著的哈里斯角点，那么保留该极值点，否则丢弃该极值点，判断方法为：不同尺度空间角点检测的公式为：

$C(x,y,{\mathrm{\δ}}_I,{\mathrm{\δ}}_F)=G(x,y,{\mathrm{\δ}}_I)\×\left[\begin{array}{cc}{I}_x^2(x,{\mathrm{\δ}}_F)& I_x{I}_y(x,{\mathrm{\δ}}_F)\\ I_x{I}_y(x,{\mathrm{\δ}}_F)& I_y^2(x,{\mathrm{\δ}}_F)\end{array}\right]$

其中I_x、I_y为图像x，y方向的梯度值，δ_I为高斯卷积核，δ_F为特征点所在的尺度，

哈里斯角点

corner＝det(C(x，y，δ_I，δ_F))-q×trace²(C(x，y，δ_I，δ_F))，det为C(x，y，δ_I，δ_F)矩阵的行列式值，trace为C(x，y，δ_I，δ_F)矩阵的迹，q的取值为0.04--0.06，corner值超过一定阈值则认为是显著的哈里斯角点，否则丢弃该极值点，保留下来的极值点就是特征点；

(4)计算特征点的方向：利用特征点邻域像素的梯度及方向分布的特性，可以得到特征点(x，y)的梯度模值和梯度方向如下：

$m(x,y)=\sqrt{{(Z(x+1,y)-Z(x-1,y))}^2+{(Z(x,y+1)-Z(x,y-1))}^2}$

θ(x，y)＝tan^-1((Z(x，y+1)-Z(x，y-1))/(Z(x+1，y)-Z(x-1，y)))

m(x，y)为梯度模值，θ(x，y)为梯度方向，Z为特征点(x，y)所在尺度空间的像素值。在以特征点为中心的邻域窗口内采样，并用直方图统计邻域像素内的梯度方向，梯度直方图的范围0-360度，每10度一个方向，计算梯度直方图值使用一个方差等于所在尺度1.5倍的高斯权重窗对直方图加权，以直方图中的最大值作为该特征点的方向，保留超过直方图峰值80％的方向；

(5)生成特征描述符：将坐标轴旋转为特征点的方向，以当前特征点为中心选取16×16的窗口，以一个方差等于该16×16的窗口宽度的1/2的高斯权重对梯度模值进行加权，将16×16的窗口分割为4×4的子窗口，将0-360度均匀地划分为8个方向，每45度为一个方向，对于每一个子窗口计算该8个方向的梯度方向直方图，对4×4子窗口的8个方向梯度直方图按照位置依次排序得到4×4×8＝128维向量的特征描述符。

本实施方式中，首先采用优先KD树对特征进行粗匹配，接着采用RANSAC算法进对特特征匹配行进一步的提纯并同时求取单应性矩阵，RANSAC算法的具体方法为：设有两幅图像Img和Img_o，Img与Img_o之间的单应性矩阵为H，H是3*3矩阵，设(x，y)为图像Img中一个特征点，与(x，y)匹配的特征为图像Img_o的特征点(w，z)，则有

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=H\·\left[\begin{array}{c}w\\ z\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\μ}}_1& {\mathrm{\μ}}_2& {\mathrm{\μ}}_3\\ {\mathrm{\μ}}_4& {\mathrm{\μ}}_5& {\mathrm{\μ}}_6\\ {\mathrm{\μ}}_7& {\mathrm{\μ}}_8& 1\end{array}\right]\left[\begin{array}{c}w\\ z\\ 1\end{array}\right]---\left(3\right)$

本发明采用的H为八参数模型，μ₁，μ₂，μ₃，μ₄，μ₅，μ₆，μ₇，μ₈为H矩阵的8个参数。在优先KD树粗匹配的基础上，使用RANSAC算法求得单应性矩阵剔除外点，RANSAC算法的具体实施如下：设初始内点数为N_in＝0；

(1)在配对的特征中随机选取4对根据式(1)求得H；

(2)根据H计算误差，当误差小于某一特定的阈值时该配对点视为内点，求出所有的内点数目，设为m_total；

(3)比较当前内点数与N_in，如果大于N_in则视当前H和内点集作为最佳估计，N_in＝m_total，如果等于N_in，则视上一次为最佳估计；

(4)重复前面步骤(1)、(2)、(3)直至重复次数达到最大迭代次数Max，Max＝150。

本发明图像的融合采用渐入渐出法，如图3所示，设img1和img2为待融合的两幅图像，融合后得到图像img3，则img3的像素img3(wh，ht)的计算方法如下：

$\mathrm{img}3(\mathrm{wh},\mathrm{ht})=\left\{\begin{array}{cc}\mathrm{img}1(\mathrm{wh},\mathrm{ht})& (\mathrm{wh},\mathrm{ht})\∈\mathrm{img}1\\ d_1\mathrm{img}1(\mathrm{wh},\mathrm{ht})+d_2\mathrm{img}2(\mathrm{wh},\mathrm{ht})& (\mathrm{wh},\mathrm{ht})\∈\left(\mathrm{img}1\mathrm{Iimg}2\right)\\ \mathrm{img}2(\mathrm{wh},\mathrm{ht})& (\mathrm{wh},\mathrm{ht})\∈\mathrm{img}2\end{array}\right.---\left(4\right)$

(wh，ht)为图像像素的横坐标和纵坐标，d₁，d₂为渐变因子，且d₁+d₂＝1，0≤d₁，d₂≤1，对于像素横坐标为wh，重叠区域左右边界的横坐标分别为x_l和x_r，d₁，d₂的计算方法为：

$d_1=\frac{x_r-\mathrm{wh}}{x_r-x_l},$ $d_2=\frac{\mathrm{wh}-x_l}{x_r-x_l}---\left(5\right)$

本实施方式中处理节点建立无向图如图4所示，工作节点将融合结果与图像特征发送至处理节点，处理节点把收到的特征进行一次全局特征匹配，具体匹配方法如下：

1、对于每一副图像，用它的每一个特征点在其他n-1个图像的进行优先KD树搜索，获取误差最小的t个对应点；

2、对该图像，用第一步找到的t个特征点和其他图像特征点匹配，获得特征点匹配最多的前f_k幅匹配对象；

3、对该图像分别与前面的f_k幅匹配图像，用RANSAC算法计算内点数V_n，若满足P_n*λ+η＜V_n，P_n为总的特征点对数，V_n为总内点对数，则认为这两幅图像是能够匹配的，λ＝0.2，η＝5.0，t＝6，f_k＝4。

根据全局特征匹配的结果建立图像数据的无向图，无向图以图像为顶点，以配对特征数量为边的权值，然后按照深度优先的搜索方法求子图的个数，如果子图数大于1且每个子图的顶点大于2，处理节点创建多个线程对每一个子图采用Levenberg-Marquardt算法优化投影参数和校正摄像头畸变和均匀化曝光值，利用优化后的投影参数将图像投影到球面坐标上融合，如图4所示，处理节点从工作节点所接收到的六副图像1、2、3、4、5和6，经过全局特征匹配后，图像1、2、3、4能构成一个子图，图像5、6能构成另一个子图，对于只有一个顶点的图对应的图像数据转发到其他处理节点或者直接丢弃。

本实施方式中采用Levenberg-Marquardt算法计算优化全局融合的具体实施如下：将所有图像映射到同一个球面模型上，计算每一副图像在球面模型上的参数信息，假设以视点为原点的球面坐标系中单位球面上点(X，Y，Z)，其与以视点为原点的相机坐标系的图像坐标(Wx，Wy)的关系如下：

$\left[\begin{array}{c}{W}_x\\ W_y\\ 1\end{array}\right]=\mathrm{KR}\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}\mathrm{fc}& 0& c_x\\ 0& \mathrm{fc}& c_y\\ 0& 0& 1\end{array}\right]R\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]---\left(6\right)$

其中fc为摄像头的焦距，c_x，c_y摄像头的光心偏移，R为三维正交旋转矩阵，本发明中旋转矩阵采用欧拉角的表示法

其中，φ，

，γ分别为俯仰角，偏转角和绕相机光轴旋转角，在平面与球面的映射中，相机焦距

$\mathrm{fc}=\frac{\mathrm{width}}{2*\tan (\mathrm{hfov}/2)}---\left(8\right)$

其中width为图像的宽度，hfov为图像的水平视角，hfov＝51。

Levenberg-Marquardt算法为最小平方优化算法，本发明中采用优化距离，优化的目标函数为，

$u_k=\underset{j\∈\mathrm{NT}\left(K\right)}{\mathrm{\Σ}}\underset{i\∈\mathrm{MT}\left(K\right)}{\mathrm{\Σ}}{\left|\right|o_j\left(p_{\mathrm{si}}\right)-o_k\left(p_{\mathrm{di}}\right)\left|\right|}^2---\left(9\right)$

对于图像T(k)，NT(k)表示与图像T(k)匹配的图像集合，MT(k)表示匹配图像的内点集合，函数o(p)为特征点在在球面的投影，o(p)＝R^-1K^-1p。以无向图中边最多的图像为基准图像，基准图像的

以基准图像为起始点，采用深度优先搜索次序获取图像的求取次序，当前待求参数图像T(k)的欧拉角初始化为其邻接图像的欧拉角，该邻接图像的参数已经更新且与待求图像特征点的配对最多，然后调用Levenberg-Marquardt算法更新T(k)的参数，即可算出所有图像在图像球面模型的参数。

本实施方式中，采用Levenberg-Marquardt算法校正摄像头畸变和均匀化曝光值的具体实施步骤如下：

图像的灰度值G＝f(w_ieML)，其中f为相机的响应曲线，

(f₀为平均响应曲线，a_l为响应曲线的形状类型，h_l为摄像头响应曲线中的第l个主要成分，e为第i个颜色通道的曝光值，w_i为第i个颜色通道的白平衡系数，绿颜色通道的白平衡系数为1，M为像素值随着空间变化而变化的关系函数，L为辐射率)，函数M采用径向多项式描述，M＝β₁r⁶+β₂r⁴+β₃r²+1(其中r＝||coord-c||₂为当前坐标coord到图像中心点c的欧氏距离)，对于采用不同曝光度或者是从不同方向拍摄的同一场景的两幅图像(即图像中的重叠区域)，场景中某一点在两幅图像中的灰度值分别为G₁和G₂，假定摄像头在拍摄过程中位置不变那么辐射率不变，则存在下面的约束关系：

$\frac{g\left(G_1\right)}{e_{1}M\left(x_1\right)}=\frac{g\left(G_2\right)}{e_{2}M\left(x_2\right)}---\left(10\right)$

函数g为函数f的逆函数，e₁，e₂分别为两幅图像的曝光值。由此可得灰度变换误差函数为

$\mathrm{error}=d(G_1-f\left(g\left(G_2\right)\frac{e_{1}M\left(x_1\right)}{e_{2}M\left(x_2\right)}\right))---\left(11\right)$

d为欧氏距离函数，在本发明中采用对称误差函数。优化的目标函数为

$E=\underset{i}{\overset{N}{\mathrm{\Σ}}}(d(G_{i1}-\mathrm{\τ}\left(G_{i2}\right))+d(G_{i2}-{\mathrm{\τ}}^{-1}\left(G_{i1}\right)))---\left(12\right)$

N为两幅图像之间匹配特征点的个数，函数τ为两幅图像的灰度值对应关系，τ^-1为τ的逆函数：

$G_1=\mathrm{\τ}\left(G_2\right)=f\left(g\left(G_2\right)\frac{e_{1}M\left(x_1\right)}{e_{2}M\left(x_2\right)}\right)---\left(13\right)$

优化的参数为e，w_i，a_l，β₁，β₂，β₃，，利用优化后的参数根据函数G＝f(w_ieML)重新计算图像像素值，利用前面优化的图像投影参数将图像投影到球面坐标上融合，融合的具体做法前文已有描述，不再赘述。

本实施方式中，处理节点每隔一段时间进行一次全局融合并根据簇内节点的拓扑变化而调整间隔时间，间隔时间是为了保证处理节点有足够的时间来接收和处理工作节点发送过来的数据，由于网络中簇的拓扑结构可能发生变化，处理节点的工作任务也随之加重或减轻，根据具体情况采用相应的调整措施调整间隔时间。

Claims (6)

1.中高速传感器网络图像数据融合的方法，中高速传感器网络中的簇由处理节点、工作节点及无线连接组成，每个工作节点通过无线网络连接两个摄像头采集图像数据，每个工作节点通过无线网络连接两个摄像头，每个工作节点中的所述两个摄像头的视角存在重叠区域，且所有摄像头采集的图像的像素精度和图像大小一致；其特征在于所述方法包括如下步骤：

(1)工作节点采集完图像数据后，分别提取两幅图像的特征，采用优先KD树特征进行匹配，利用匹配的特征使用RANSAC算法求取图像间的单应性矩阵，根据单应性矩阵做两幅图像的融合，将融合的结果和图像的特征发送至处理节点；

(2)处理节点把收到的特征进行全局特征匹配，根据全局特征匹配结果建立图像的无向图，对于每一个无向图中的图像数据，处理节点采用Levenberg-Marquardt算法优化图像投影参数，所述图像投影参数包括俯仰角、偏转角、绕相机光轴旋转角及相机光心偏移，在获取图像投影参数后，再次采用Levenberg-Marquardt算法对摄像头的径向畸变进行校正和曝光度均衡，利用优化后的图像投影参数把所有图像投影到球面坐标进行融合，对于不能融合的图像进行转发到其他处理节点或者舍弃；所述全局特征匹配的方法如下：

(2.1)对于每一副图像，用它的每一个特征点在其他n-1个图像进行优先KD树搜索，获取误差最小的t个对应点；

(2.2)对该每一副图像，用第一步找到的t个特征点和其他图像特征点匹配，获得特征点匹配最多的前f_k幅匹配对象；

(2.3)对该图像分别与前面的f_k幅匹配图像，用RANSAC算法计算总内点对数V_n，若满足P_n*λ+η＜V_n，P_n为总的特征点对数，则认为这两幅图像是能够匹配的，λ＝0.2，η＝5.0，t＝6，f_k＝4；

(3)处理节点每隔一段时间重复步骤(2)，并根据簇内节点拓扑结构的变化调整间隔时间。

2.根据权利要求1所述的中高速传感器网络图像数据融合的方法，其特征在于步骤(1)工作节点所提取特征为改进的尺度不变特征，提取方法为：

(1.1)构造octvs×intvls的图像高斯尺度空间，其中

octvs＝log(min(img_width，img_heigth))/log(2)-2，min为取最小值，intvls＝6，img_width为图像的宽度，img_heigth为图像的高度，将相邻尺度空间图像相减得到高斯差分空间；

(1.2)求取高斯差分空间的极值：设高斯差分空间中间层图像img_mid的像素点坐标为(x，y)，图像img_mid的上一层设为图像img_high，img_mid的下一层为图像img_low，图像img_high和图像img_low内的像素点坐标分别为(x’，y’)、(x”，y”)，像素点(x，y)邻域内的8个像素点设为集合PT1，像素点(x’，y’)及(x’，y’)邻域内的8个像素点设为集合PT2，像素点(x”，y”)及(x”，y”)邻域内的8个像素点设为集合PT3，x＝x’＝x”，y＝y’＝y”，，将像素点(x，y)与集合PT1∪PT2∪PT3内的像素点逐一进行比较，求得最大值或最小值的极值点，采用三维二次函数拟合的方法对极值点精确定位，保存精确定位后的极值点(x，y)；

(1.3)然后判断各个极值点的临域内是否存在哈里斯角点，如果存在显著的哈里斯角点，那么保留该极值点，否则丢弃该极值点，判断方法为：不同尺度空间角点检测的公式为：

$C(x,y,{\mathrm{\δ}}_I,{\mathrm{\δ}}_F)=G(x,y,{\mathrm{\δ}}_I)\×\left[\begin{array}{cc}{I}_x^2(x,{\mathrm{\δ}}_F)& I_x{I}_y(x,{\mathrm{\δ}}_F)\\ I_x{I}_y(x,{\mathrm{\δ}}_F)& I_y^2(x,{\mathrm{\δ}}_F)\end{array}\right]$

其中I_x、I_y为图像x，y方向的梯度值，δ_I为高斯卷积核，δ_F为特征点所在的尺度，

$G(x,y,{\mathrm{\δ}}_I)=\frac{1}{2\mathrm{\π}{{\mathrm{\δ}}_I}^2}{e}^{-(x^2+y^2)/2{{\mathrm{\δ}}_I}^2};$ 哈里斯角点

corner＝det(C(x，y，δ_I，δ_F))-q×trace²(C(x，y，δ_I，δ_F))，det为C(x，y，δ_I，δ_F)矩阵的行列式值，trace为C(x，y，δ_I，δ_F)矩阵的迹，q的取值为0.04--0.06，corner值超过一定阈值则认为是显著的哈里斯角点，否则丢弃该极值点，保留下来的极值点就是特征点；

(1.4)计算特征点的方向：利用特征点邻域像素的梯度及方向分布的特性，可以得到特征点(x，y)的梯度模值和梯度方向如下：

$m(x,y)=\sqrt{{(Z(x+1,y)-Z(x-1,y))}^2+{(Z(x,y+1)-Z(x,y-1))}^2}$

θ(x，y)＝tan^-1((Z(x，y+1)-Z(x，y-1))/(Z(x+1，y)-Z(x-1，y)))

m(x，y)为梯度模值，θ(x，y)为梯度方向，Z为特征点(x，y)所在尺度空间的像素值；在以特征点为中心的邻域窗口内采样，并用直方图统计邻域像素内的梯度方向，梯度直方图的范围0-360度，每10度一个方向，计算梯度直方图值使用一个方差等于所在尺度1.5倍的高斯权重窗对直方图加权，以直方图中的最大值作为该特征点的主方向，保留超过直方图峰值80％的梯度方向；

(1.5)生成特征描述符：将坐标轴旋转为特征点的方向，以当前特征点为中心选取16×16的窗口，以一个方差等于该16×16的窗口宽度的1/2的高斯权重对梯度模值进行加权，将16×16的窗口分割为4×4的子窗口，将0-360度均匀地划分为8个方向，每45度为一个方向，对于每一个子窗口计算该8个方向的梯度方向直方图，对4×4子窗口的8个方向梯度直方图按照位置依次排序得到4×4×8＝128维向量的特征描述符。

3.根据权利要求1所述中高速传感器网络图像数据融合的方法，其特征在于步骤(2)所述根据全局特征匹配结果建立无向图具体为：无向图以图像为顶点，如果两幅图像能够匹配则认为这两个顶点之间存在一条边，采用深度优先遍历法求无向图的个数，对于每个无向图中的图像分别进行投影参数优化和摄像头畸变校正和曝光值均衡，利用优化后的投影参数将所有图像投影到单位球面坐标上融合，融合的起始图像为含有最多边的顶点所对应的图像，对于仅有一个顶点的图对应的图像转发到其他处理节点或丢弃。

4.根据权要求1所述中高速传感器网络图像数据融合的方法，其特征在于步骤(2)通过采用Levenberg-Marquardt算法最小化两幅图像之间灰度值变换误差，来校正摄像头径向畸变均匀化曝光值，具体为：

图像的灰度值G＝f(w_ieML)，其中f为相机的响应曲线f₀为平均响应曲线，a_l为响应曲线的形状类型，h_l为摄像头响应曲线中的第l个主要成分，l的最大值为3，e为第i个图像颜色通道的曝光值，w_i为第i个图像颜色通道的白平衡系数，绿颜色通道的白平衡系数为1，M为像素值随着空间变化而变化的关系函数，每个图像颜色通道的f函数都是相同的，M＝β₁r⁶+β₂r⁴+β₃r²+1，r＝||coord-c||₂为当前坐标coord到图像中心点c的欧氏距离，L为辐射率，对于包含N对匹配特征的两幅图像，优化的目标函数为

$E=\underset{i}{\overset{N}{\mathrm{\Σ}}}(d(G_{i1}-\mathrm{\τ}\left(G_{i2}\right))+d(G_{i2}-{\mathrm{\τ}}^{-1}\left(G_{i1}\right))),$ 其中d为欧氏距离，N为匹配的特征对数，τ^-1为τ的逆函数，G_i1，G_i2匹配特征在两幅图像中的灰度值，函数τ表示匹配特征点灰度值的相互关系，

e_i1为第一幅图像的曝光值，e_i2为第二幅图像的曝光值，M(x_i1)为第一幅图像的M函数，M(x_i2)为第二图像的M函数，优化的参数为e，w_i，a_l，β₁，β₂，β₃，使用优化后的参数重新根据函数G＝f(w_ieML)计算图像的像素值。

5.根据权要求1所述中高速传感器网络图像数据融合的方法，其特征在于步骤(1)和步骤(2)所述融合为渐入渐出法，该方法具体为：设img1和img2为待融合的两幅图像，融合后得到图像img3，则img3的像素img3(wh，ht)的计算方法如下：

$\mathrm{img}3(\mathrm{wh},\mathrm{ht})=\left\{\begin{array}{cc}\mathrm{img}1(\mathrm{wh},\mathrm{ht})& (\mathrm{wh},\mathrm{ht})\∈\mathrm{img}1\\ d_1\mathrm{img}1(\mathrm{wh},\mathrm{ht})+d_2\mathrm{img}2(\mathrm{wh},\mathrm{ht})& (\mathrm{wh},\mathrm{ht})\∈(\mathrm{img}1\∩\mathrm{img}2)\\ \mathrm{img}2(\mathrm{wh},\mathrm{ht})& (\mathrm{wh},\mathrm{ht})\∈\mathrm{img}2\end{array}\right.$

(wh，ht)为图像像素的横坐标和纵坐标，img1(wh，ht)，img2(wh，th)分别为图像img1和img2在(wh，ht)处的像素值，d₁，d₂为渐变因子，且d₁+d₂＝1，0≤d₁，d₂≤1，对于横坐标为wh的像素点，重叠区域左右边界的横坐标分别为x_l和x_r，d₁，d₂的计算方法为：

$d_1=\frac{x_r-\mathrm{wh}}{x_r-x_l},$ $d_2=\frac{\mathrm{wh}-x_l}{x_r-x_l}$

6.根据权利要求1所述中高速传感器网络图像数据融合的方法，其特征在于步骤(3)处理节点每隔一段时间进行一次全局融合并根据簇内节点的拓扑变化而调整间隔时间，当有多个工作节点同时向处理节点发送数据时，处理节点只能顺序接收数据，为了融合更多的节点数据，处理节点必须保证有相应的时间来接收数据，同时如有新的节点加入或有节点失效，处理节点的工作任务也随之加重或减轻，需对间隔时间作出调整。

Images