CN104966063A - 基于gpu与cpu协同计算的矿井多摄像机视频融合方法 - Google Patents

Abstract

一种基于GPU与CPU协同计算的矿井多摄像机视频融合方法，属于矿井多摄像机视频融合方法。本发明构建了GPU与CPU协同计算模型，缓解现有视频融合方法实时性差的现状；利用相邻视频源间重叠区域的特征自动匹配，确定视频源的相对位置关系，不需提前指定摄像机位置，实现自动整合；并捆绑调整估计相机参数与自动校直，解决融合后全景图像变形问题；并采用了曝光补偿与多波段融合方法，最终生成超高分辨率大视角的矿井采(掘)工作面大场景实时整体视频，对提高煤矿开采工作效率与保障煤矿安全生产发挥重要作用。优点：多摄像机视频融合技术充分利用现在煤矿的摄像机，生成矿井采(掘)工作面全景视频，减少设备投入，提高煤矿生产的安全性。

Description

基于GPU与CPU协同计算的矿井多摄像机视频融合方法

技术领域

本发明涉及一种矿井多摄像机视频融合方法，特别是一种基于GPU与CPU协同计算的矿井多摄像机视频融合方法。

背景技术

基于图形处理器(GPU)与中央处理器(CPU)协同计算的矿井自动多摄像机视频融合技术是将散落在场景中的多个不同点位的相机捕捉的实时视频信息融合成全景实时视频。对于矿井综掘工作面的监控，现在的视频影像采集设备都存在一些不足，如全景摄像机，虽然可以包含大范围的场景信息，但是摄像机成本较高，无法充分利用煤矿已有的摄像机，且图像的分辨率有限，无法清晰的显示矿井采(掘)工作面的细节信息；如高清摄像机，虽然分辨率高，但是满足不了矿井监控对大视角的要求。该发明技术可同时满足全景视角和高清场景信息这两方面的需求。

煤矿生产无人则安，无人开采一直是煤矿追求的目标。长久以来，矿井采(掘)工作面全景成像技术一直是世界性难题，也是无人工作面远程监测监控技术的重要瓶颈问题之一。

发明内容

本发明的目的是要提供一种基于GPU与CPU协同计算的矿井多摄像机视频融合方法，解决矿井综掘工作面单摄像机视角有限及全景变形的问题。

本发明的目的是这样实现的：该矿井多摄像机视频融合方法：针对矿井综掘工作面的特殊工作环境要求，构建GPU与CPU协同计算模型；利用摄像机获得的图像信息自动识别正确的图像序列；利用捆绑调整相机参数求解统一融合平面，分解单摄像机视频帧图像，在多波段对视频进行融合，最终实现高分辨率与高帧率的矿井综掘工作面全景视频；

调度中心获取多个井下摄像机视频信号；对各摄像机获取的视频信号进行处理，根据视角的不同及传感器的差异对存在重合区域的多组视频图像序列进行重新融合，组成一组配准的分辨率高的无缝视频图像序列，生成视频中的每幅图像包含所有视频序列在同一时刻捕获的部分采煤面图像数据的宽视角大型图像；

具体步骤如下：

1)获取每路视频源的图像，对图像帧进行缓存；

2)图像特征提取：对每一幅图像提取尺度不变特征转换特征/加速的鲁棒特征；

3)视频帧图像配准：找到图像变换矩阵，主要包括三个步骤：

a)特征匹配：使用k-d树算法为每个特征点找到k个最邻近的匹配特征点；

b)选择m个候选匹配图像，它们与要匹配的图像有最多的特征匹配点；

c)计算变换矩阵：使用随机采样一致性(RANSAC)算法找到图像对应间的变换矩阵H；

d)验证变换矩阵：使用概率模型验证图像匹配的变换矩阵；

4)多摄像机变换参数调整：对已匹配的图像使用光束平差法获取相机的旋转角θ₁、θ₂、θ₃和焦距f等参数，将多个单摄像机图像变换到统一的融合平面上；

5)自动全景校直：去除正确匹配序列中的图像间的波状效应，并记录自动校直参数；

6)增益补偿：对已匹配后序列中的图像进行曝光补偿，并记录补偿参数；

将1)至6)过程中产生的变换矩阵、多摄像机变换参数、自动校直参数、增益补偿参数等保存到缓存区中；

7)多波段融合：加载视频帧缓冲队列中的图像及缓存区中的参数，若参数加载成功，则对图像序列分解多波段，进行全景融合，若参数加载失败，则重新执行步骤1)至6)；

8)针对后续视频流中的每一帧视频图像重复步骤7)；

所述步骤2)和7)在GPU端运行；其它步骤是在系统的CPU端运行。

进一步说明如下：

所述的图像特征提取：使用SIFT或SURF算法进行特征提取，先对畸变校正后的视频帧图像构建高斯金字塔，然后得到相应的高斯差分金字塔，求得高斯差分金字塔中的极值点，之后进行关键点精确定位，得到各摄像机获取的帧图像的特征点；最后，用特征向量对每一个特征点进行特征描述；

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(16\right)$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(17)

公式(16)与公式(17)中的m(x,y)与θ(x,y)是特征点的梯度模值与方向；利用关键点的模值与方向生成关键点特征向量，最终得到的特征点用128维的特征向量表示；SURF算法是对SIFT算法的一种改进，首先构建Hessian矩阵，然后构建图像的尺度空间，检测尺度空间中的极值点作为特征点并精确定位，最终得到64维的特征向量表示；

所述的视频帧图像配准，具体步骤如下：

1.1.特征匹配

前面部分已经提取得到了图像特征点集合，本部分介绍图像配准的特征点匹配与变换矩阵求解；对于待匹配的两幅图像，其各自的特征点已经以特征向量的形式存储在数组中，特征点匹配就是找到两图像重叠区域中匹配的特征点，通过这些特征点的匹配关系得到一个变换矩阵；使用的索引数据结构是Kd-tree结构，Kd-tree特征匹配主要有两个步骤：

步骤一：构建Kd-tree数据结构；

输入：Data_set数据点集；输出：Kd树，类型为Kd-tree；

(1)如果Data_set数据点集为空，则返回空的Kd树；

(2)计算数据点集所有特征向量每一维的方差，找到方差最大的值对应的维度，该维度的序号就是split的取值；

(3)在split值对应的维度，将所有数据点重新排序，找到处于中间的数据点，该数据点就是最初的dom_elt，并在数据集中减去dom_elt；

(4)数据集中split域对应的维度值小于dom_elt的向量被分到左子空间，即left；split域对应的维度值大于dom_elt的向量被分到右子空间，即right；

(5)对左子空间和右子空间递归调用Kd-tree构建算法；

步骤二：在Kd-tree上进行最邻近查找；

通过以上两个步骤，就得到了Kd-tree数据结构，最终获取所有特征点最邻近的4个特征点；

1.2.计算变换矩阵

得到匹配的特征点对之后，使用随机采样一致性RANSAC算法去除错配的特征点对，利用正确匹配的特征点即内点求得相应的投影变换矩阵

$\hat{H}=\left[\begin{array}{ccc}{\hat{h}}_1& {\hat{h}}_2& {\hat{h}}_3\\ {\hat{h}}_4& {\hat{h}}_5& {\hat{h}}_6\\ {\hat{h}}_7& {\hat{h}}_8& 1\end{array}\right]---\left(18\right)$

随机采样一致性RANSAC算法具体过程如下：

(1)从特征点对中随机抽选一个RANSAC样本，即4个特征点对；

(2)根据这些抽取的RANSAC样本计算变换矩阵M；

(3)将目标图像的特征点经M矩阵变换，找到满足一定误差范围的特征点集，返回特征点集的个数；

(4)比较求得的新的特征点集与最优一致集中元素的个数，如果新求的特征点集元素个数多，就更新原来的最优一致集；

(5)计算新的最优一致集的错误率，若该错误率大于设定的最小错误率就返回(1)；否则，结束算法。

1.3.验证变换矩阵

对两两图像间是否存在匹配关系，使用几何一致的RANSAC内点和在重叠区域内，不一致的随机采样一致性RANSAC外点来验证；验证模型通过比较正确匹配产生的内点和错误匹配产生的外点的概率来进行验证；

对于一幅给定的图像，重叠区域内总的匹配特征数为n_f，内点为n_i；图像是否有效匹配通过二进制变量m∈{0,1}表示；第i个匹配特征点f⁽ⁱ⁾∈{0,1}是否为内点被假定为独立的贝努利分布，以便于内点总数服从贝努利分布：

$p\left(f^{(1;n_f)}\right|m=1)=B(n_i;n_f,p_1)---\left(19\right)$

$p\left(f^{(1;n_f)}\right|m=0)=B(n_i;n_f,p_0)---\left(20\right)$

其中，p₁是可以正确匹配图像时特征点为内点的概率，p₀是不能实现图像匹配时特征点为内点的概率；表示特征匹配点变量的集合{f⁽ⁱ⁾,i＝1,2,...,n_f}，内点数B(.)是贝努利分布，表示如下：

$B(x;n,p)=\frac{n!}{x!(n-x)!}{p}^x(1-p)n-x---\left(21\right)$

本发明选p₁＝0.6，p₀＝0.1，使用贝叶斯规则计算正确图像匹配的先验概率，如果满足则实现图像自动匹配；

所述的多摄像机变换参数调整：实现图像的正确匹配之后，使用光束平差法解决相机旋转角θ₁、θ₂、θ₃和焦距f参数问题，以下详述具体过程；

已匹配的图像一个接一个被添加到捆绑调节器，最佳匹配图像在每一步被添加，新图像用与最佳匹配图像具有相同的旋转和焦距长度初始化，然后相机参数使用Levenberg-Marquardt(L-M)算法被更新，L-M算法是介于牛顿法与梯度下降法之间的一种非线性优化方法；

使用的L-M算法中要优化的目标函数是一种抗总差平方投影误差；即每个特征点被投影到所有与它匹配的图像中，并且平方图像距离的总和依据相机参数最小化；考虑到对应关系(u_i ^k表示在图像i第k个特征点的位置)，残差表示为

$r_{ij}^k=u_i^k-p_{ij}^k---\left(22\right)$

其中对应到u_i ^k的点p_ij ^k是对应于u_i ^k点从图像j到图像i的投影

${\stackrel{\‾}{p}}_{ij}^k=K_i{R}_i{R}_j^T{K}_j^{-1}{\stackrel{\‾}{u}}_j^i---\left(23\right)$

误差函数是所有图像抗差剩余误差的和，表示如下：

$e=\underset{i=1}{\overset{n}{\Σ}}\underset{j\∈I\left(i\right)}{\Σ}\underset{k\∈f(i,j)}{\Σ}h\left(r_{ij}^k\right)---\left(24\right)$

其中n是总的图像数，I(i)是和图像i匹配的图像集，f(i,j)是图像i和图像j的特征匹配集；

使用Huber鲁棒性误差函数，如下所示：

$h\left(x\right)=\left\{\begin{array}{ccc}|x{|}^2& if& \left|x\right|<\mathrm{\&sigma;}\\ 2\mathrm{\&sigma;}\left|x\right|-{\mathrm{\&sigma;}}^2& if& \left|x\right|\&GreaterEqual;\mathrm{\&sigma;}\end{array}\right.---\left(25\right)$

所述的自动全景校直：使用前一步骤的图像配准提供了摄像机间的相对旋转和焦距等参数，但是对于选定的世界坐标系而言仍有一个未知的3D旋转；对于每一幅图像，如果简单的假设R＝I，通常会发现现在输出的全景图中有波状效应，真正的相机不会是完全水平且没有倾斜的；本发明修正这种波形的输出，并且通过利用人们通常拍摄全景图方式的启发式算法自动校直全景图；

相机的参数x向量即水平轴位于一个平面；通过找到相机参数x向量的协方差矩阵的零向量，可以找到“向上的向量”u，包含相机的中心和视距，如下：

$\left(\underset{i=1}{\overset{n}{\&Sigma;}}{X}_i{X}_i^T\right)u=0---\left(26\right)$

垂直向上的向量u，即在呈现的结构中进行整体旋转，非常有效的从输出全景图中消除了波状效应；

所述的增益补偿：增益补偿是解决光度测量参数，即图像间的总增益；通过相似的方式建立模型，对所有图像定义一个误差函数，误差函数是所有重叠像素的增益归一化轻度误差的和，表示如下：

$e=\frac{1}{2}\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}\underset{u_l\&Element;R(i,j)}{\&Sigma;}{(g_i{I}_i\left(u_i\right)-g_j{I}_j\left(u_i\right))}^2---\left(27\right)$

其中g_i，g_j是增益，R(i,j)是图像i和图像j的重叠区域；每个重叠区域的平均值I_ij来近似I(u_i)，如下表示：

${\stackrel{\&OverBar;}{I}}_{ij}=\frac{{\mathrm{\&Sigma;}}_{u_i\&Element;R(i,j)}{I}_i\left(u_i\right)}{{\mathrm{\&Sigma;}}_{u_i\&Element;R(i,j)}1}---\left(28\right)$

简化了计算，并给那些图像间错误配准的外点提供了鲁棒性；有一个预先条件保持增益一致，调整后的误差函数表示如下：

$e=\frac{1}{2}\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}{N}_{ij}({(g_i{\stackrel{\&OverBar;}{I}}_{ij}-g_j{\stackrel{\&OverBar;}{I}}_{ji})}^2/{\mathrm{\&sigma;}}_N^2+{(1-g_i)}^2/{\mathrm{\&sigma;}}_g^2)---\left(29\right)$

其中N_ij＝|R(i,j)|与图像i和j间重叠部分的像素数量相等，参数σ_N和σ_g分别是归一化强度误差和增益的标准偏差，选择σ_N＝10.0(I∈{0...255})，σ_g＝0.1；这是一个增益参数g的二次目标函数，在封闭的形式中设置导数趋于0。

所述的多波段融合：每个图像中沿一条射线的每个样值即像素会有相同的强度，它们会相交，但现实并非如此；由于一些未建模的影响，即使在增益补偿后，图像边缘仍然可见，如图像边缘暗淡即朝图像边缘方向强度降低，由于光中心不必要的移动引起的视差效果，摄像头的错误建模、径向畸变等引起的微小的定位误；

从前面的步骤中，考虑到已知的匹配，有n幅图像Iⁱ(x,y)(i∈{1...n})可以被表示在一个共同的球形坐标系Iⁱ(θ,φ)中；为了从多个图像中合并信息，为每个图像分配一个加权函数W(x,y)＝ω(x)ω(y)，其中ω(x)从中心1到边缘0线性变化；加权函数在球形坐标系W^t(θ,φ)内重新采样，融合的一种简单方法是计算沿着每条射线，使用这些加权函数的图像强度的加权总和；如下所示

$I^{linear}(\mathrm{\&theta;},\mathrm{\&phi;})=\frac{{\mathrm{\&Sigma;}}_{i=1}^n{I}^i(\mathrm{\&theta;},\mathrm{\&phi;})W^i(\mathrm{\&theta;},\mathrm{\&phi;})}{{\mathrm{\&Sigma;}}_{i=1}^n{W}^i(\mathrm{\&theta;},\mathrm{\&phi;})}---\left(30\right)$

其中I^linear(θ,φ)是使用线性融合形成的复合球面图像，可是如果有小的匹配错误，这种方法会引起高频细节模糊；为了防止这种情况，使用Burt和Adelson的多波段融合算法，在一个很大的范围空间内融合低频率，在一个小的范围内融合高频率。

有益效果：由于采用了上述方案，本发明构建了GPU与CPU协同计算模型，缓解现有视频融合方法实时性差的现状；利用相邻视频源间重叠区域的特征自动匹配，确定视频源的相对位置关系，不需提前指定摄像机位置，实现自动整合；并捆绑调整估计相机参数与自动校直，解决融合后全景图像变形问题；并采用了曝光补偿与多波段融合方法，最终生成超高分辨率大视角的矿井采(掘)工作面大场景实时整体视频，对提高煤矿开采工作效率与保障煤矿安全生产发挥重要作用。

将多视频融合技术应用到了矿井综掘工作面的监控中，解决了矿井全景成像的难题。在此基础之上，该发明利用统一计算设备架构(CUDA)的并行计算能力，合理得将GPU和CPU结合，充分地保证了视频融合的实时性和准确性；采用了自动全景融合的手段，系统会根据摄像机获取的图像信息自动找出最佳的融合序列，因此不需要预先知道摄像头的相对位置关系；该发明还使用了捆绑调整估计相机参数与自动校直，解决了融合后全景图像变形问题；并采用了曝光补偿与多波段融合方法，最终生成超高分辨率大视角的矿井采(掘)工作面大场景实时整体视频，解决了矿井综掘工作面单摄像机视角有限及全景变形的问题；达到了本发明的目的。

优点：多摄像机视频融合技术充分利用现在煤矿的摄像机，生成矿井采(掘)工作面全景视频，减少设备投入，提高煤矿生产的安全性。

附图说明：

图1是本发明的融合方法流程图。

图2a正常拍摄视角下的示意图。

图2b拍摄视角发生倾斜情况下的示意图。

图2c拍摄视角发生旋转情况下的示意图。

具体实施方式

实施例1：该矿井多摄像机视频融合方法：针对矿井综掘工作面的特殊工作环境要求，构建GPU与CPU协同计算模型；利用摄像机获得的图像信息自动识别正确的图像序列；利用捆绑调整相机参数求解统一融合平面，分解单摄像机视频帧图像，在多波段对视频进行融合，最终实现高分辨率与高帧率的矿井综掘工作面全景视频；

调度中心获取多个井下摄像机视频信号；对各摄像机获取的视频信号进行处理，根据视角的不同及传感器的差异对存在重合区域的多组视频图像序列进行重新融合，组成一组配准的分辨率高的无缝视频图像序列，生成视频中的每幅图像包含所有视频序列在同一时刻捕获的部分采煤面图像数据的宽视角大型图像；

具体步骤如下：

1)获取每路视频源的图像，对图像帧进行缓存；

2)图像特征提取：对每一幅图像提取尺度不变特征转换(SIFT)特征/加速的鲁棒特征(SURF)；

3)视频帧图像配准：找到图像变换矩阵，主要包括三个步骤：

a)特征匹配：使用k-d树算法为每个特征点找到k个最邻近的匹配特征点；

b)选择m个候选匹配图像，它们与要匹配的图像有最多的特征匹配点；

c)计算变换矩阵：使用随机采样一致性(RANSAC)算法找到图像对应间的变换矩阵H；

d)验证变换矩阵：使用概率模型验证图像匹配的变换矩阵；

4)多摄像机变换参数调整：对已匹配的图像使用光束平差法获取相机的旋转角θ₁、θ₂、θ₃和焦距f等参数，将多个单摄像机图像变换到统一的融合平面上；

5)自动全景校直：去除正确匹配序列中的图像间的波状效应，并记录自动校直参数；

6)增益补偿：对已匹配后序列中的图像进行曝光补偿，并记录补偿参数；

将1)至6)过程中产生的变换矩阵、多摄像机变换参数、自动校直参数、增益补偿参数等保存到缓存区中；

7)多波段融合：加载视频帧缓冲队列中的图像及缓存区中的参数，若参数加载成功，则对图像序列分解多波段，进行全景融合，若参数加载失败，则重新执行步骤1)至6)；

8)针对后续视频流中的每一帧视频图像重复步骤7)；

所述步骤2)和7)在GPU端运行；其它步骤是在系统的CPU端运行。

进一步说明如下：

所述的图像特征提取：使用SIFT或SURF算法进行特征提取，先对畸变校正后的视频帧图像构建高斯金字塔，然后得到相应的高斯差分金字塔，求得高斯差分金字塔中的极值点，之后进行关键点精确定位，得到各摄像机获取的帧图像的特征点；最后，用特征向量对每一个特征点进行特征描述；

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(31\right)$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))(32)

公式(16)与公式(17)中的m(x,y)与θ(x,y)是特征点的梯度模值与方向；利用关键点的模值与方向生成关键点特征向量，最终得到的特征点用128维的特征向量表示；SURF算法是对SIFT算法的一种改进，首先构建Hessian矩阵，然后构建图像的尺度空间，检测尺度空间中的极值点作为特征点并精确定位，最终得到64维的特征向量表示；

所述的视频帧图像配准，具体步骤如下：

1.1.特征匹配

前面部分已经提取得到了图像特征点集合，本部分介绍图像配准的特征点匹配与变换矩阵求解；对于待匹配的两幅图像，其各自的特征点已经以特征向量的形式存储在数组中，特征点匹配就是找到两图像重叠区域中匹配的特征点，通过这些特征点的匹配关系得到一个变换矩阵；使用的索引数据结构是Kd-tree结构，Kd-tree特征匹配主要有两个步骤：

步骤一：构建Kd-tree数据结构；

输入：Data_set数据点集；输出：Kd树，类型为Kd-tree；

(1)如果Data_set数据点集为空，则返回空的Kd树；

(2)计算数据点集所有特征向量每一维的方差，找到方差最大的值对应的维度，该维度的序号就是split的取值；

(3)在split值对应的维度，将所有数据点重新排序，找到处于中间的数据点，该数据点就是最初的dom_elt，并在数据集中减去dom_elt；

(4)数据集中split域对应的维度值小于dom_elt的向量被分到左子空间，即left；split域对应的维度值大于dom_elt的向量被分到右子空间，即right；

(5)对左子空间和右子空间递归调用Kd-tree构建算法；

步骤二：在Kd-tree上进行最邻近查找；

通过以上两个步骤，就得到了Kd-tree数据结构，最终获取所有特征点最邻近的4个特征点；

1.2.计算变换矩阵

得到匹配的特征点对之后，使用随机采样一致性RANSAC算法去除错配的特征点对，利用正确匹配的特征点即内点求得相应的投影变换矩阵

$\hat{H}=\left[\begin{array}{ccc}{\hat{h}}_1& {\hat{h}}_2& {\hat{h}}_3\\ {\hat{h}}_4& {\hat{h}}_5& {\hat{h}}_6\\ {\hat{h}}_7& {\hat{h}}_8& 1\end{array}\right]---\left(33\right)$

随机采样一致性RANSAC算法具体过程如下：

(1)从特征点对中随机抽选一个RANSAC样本，即4个特征点对；

(2)根据这些抽取的RANSAC样本计算变换矩阵M；

(3)将目标图像的特征点经M矩阵变换，找到满足一定误差范围的特征点集，返回特征点集的个数；

(4)比较求得的新的特征点集与最优一致集中元素的个数，如果新求的特征点集元素个数多，就更新原来的最优一致集；

(5)计算新的最优一致集的错误率，若该错误率大于设定的最小错误率就返回(1)；否则，结束算法。

1.3.验证变换矩阵

对两两图像间是否存在匹配关系，使用几何一致的RANSAC内点和在重叠区域内，不一致的随机采样一致性RANSAC外点来验证；验证模型通过比较正确匹配产生的内点和错误匹配产生的外点的概率来进行验证；

对于一幅给定的图像，重叠区域内总的匹配特征数为n_f，内点为n_i；图像是否有效匹配通过二进制变量m∈{0,1}表示；第i个匹配特征点f⁽ⁱ⁾∈{0,1}是否为内点被假定为独立的贝努利分布，以便于内点总数服从贝努利分布：

$p\left(f^{(1;n_f)}\right|m=1)=B(n_i;n_f,p_1)---\left(34\right)$

$p\left(f^{(1;n_f)}\right|m=0)=B(n_i;n_f,p_0)---\left(35\right)$

其中，p₁是可以正确匹配图像时特征点为内点的概率，p₀是不能实现图像匹配时特征点为内点的概率；表示特征匹配点变量的集合{f⁽ⁱ⁾,i＝1,2,...,n_f}，内点数B(.)是贝努利分布，表示如下：

$B(x;n,p)=\frac{n!}{x!(n-x)!}{p}^x(1-p)n-x---\left(36\right)$

本发明选p₁＝0.6，p₀＝0.1，使用贝叶斯规则计算正确图像匹配的先验概率，如果满足则实现图像自动匹配；

所述的多摄像机变换参数调整：实现图像的正确匹配之后，使用光束平差法解决相机旋转角θ₁、θ₂、θ₃和焦距f参数问题，以下详述具体过程；

已匹配的图像一个接一个被添加到捆绑调节器，最佳匹配图像在每一步被添加，新图像用与最佳匹配图像具有相同的旋转和焦距长度初始化，然后相机参数使用Levenberg-Marquardt(L-M)算法被更新，L-M算法是介于牛顿法与梯度下降法之间的一种非线性优化方法；

使用的L-M算法中要优化的目标函数是一种抗总差平方投影误差；即每个特征点被投影到所有与它匹配的图像中，并且平方图像距离的总和依据相机参数最小化；考虑到对应关系(u_i ^k表示在图像i第k个特征点的位置)，残差表示为

$r_{ij}^k=u_i^k-p_{ij}^k---\left(37\right)$

其中对应到u_i ^k的点p_ij ^k是对应于u_i ^k点从图像j到图像i的投影

${\stackrel{\&OverBar;}{p}}_{ij}^k=K_i{R}_i{R}_j^T{K}_j^{-1}{\stackrel{\&OverBar;}{u}}_j^i---\left(38\right)$

误差函数是所有图像抗差剩余误差的和，表示如下：

$e=\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j\&Element;I\left(i\right)}{\&Sigma;}\underset{k\&Element;f(i,j)}{\&Sigma;}h\left(r_{ij}^k\right)---\left(39\right)$

其中n是总的图像数，I(i)是和图像i匹配的图像集，f(i,j)是图像i和图像j的特征匹配集；

使用Huber鲁棒性误差函数，如下所示：

$h\left(x\right)=\left\{\begin{array}{ccc}|x{|}^2& if& \left|x\right|<\mathrm{\&sigma;}\\ 2\mathrm{\&sigma;}\left|x\right|-{\mathrm{\&sigma;}}^2& if& \left|x\right|\&GreaterEqual;\mathrm{\&sigma;}\end{array}\right.---\left(40\right)$

所述的自动全景校直：使用前一步骤的图像配准提供了摄像机间的相对旋转和焦距等参数，但是对于选定的世界坐标系而言仍有一个未知的3D旋转；对于每一幅图像，如果简单的假设R＝I，通常会发现现在输出的全景图中有波状效应，真正的相机不会是完全水平且没有倾斜的；本发明修正这种波形的输出，并且通过利用人们通常拍摄全景图方式的启发式算法自动校直全景图；

相机的参数x向量即水平轴位于一个平面；通过找到相机参数x向量的协方差矩阵的零向量，可以找到“向上的向量”u，包含相机的中心和视距，如下：

$\left(\underset{i=1}{\overset{n}{\&Sigma;}}{X}_i{X}_i^T\right)u=0---\left(41\right)$

垂直向上的向量u，即在呈现的结构中进行整体旋转，非常有效的从输出全景图中消除了波状效应；

所述的增益补偿：增益补偿是解决光度测量参数，即图像间的总增益；通过相似的方式建立模型，对所有图像定义一个误差函数，误差函数是所有重叠像素的增益归一化轻度误差的和，表示如下：

$e=\frac{1}{2}\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}\underset{u_l\&Element;R(i,j)}{\&Sigma;}{\left(g_i{I}_i\right(u_i)-g_j{I}_j(u_i\left)\right)}^2---\left(42\right)$

其中g_i，g_j是增益，R(i,j)是图像i和图像j的重叠区域；每个重叠区域的平均值I_ij来近似I(u_i)，如下表示：

${\stackrel{\&OverBar;}{I}}_{ij}=\frac{{\mathrm{\&Sigma;}}_{u_i\&Element;R(i,j)}{I}_i\left(u_i\right)}{{\mathrm{\&Sigma;}}_{u_i\&Element;R(i,j)}1}---\left(43\right)$

简化了计算，并给那些图像间错误配准的外点提供了鲁棒性；有一个预先条件保持增益一致，调整后的误差函数表示如下：

$e=\frac{1}{2}\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}{N}_{ij}({(g_i{\stackrel{\&OverBar;}{I}}_{ij}-g_j{\stackrel{\&OverBar;}{I}}_{ji})}^2/{\mathrm{\&sigma;}}_N^2+{(1-g_i)}^2/{\mathrm{\&sigma;}}_g^2)---\left(44\right)$

其中N_ij＝|R(i,j)|与图像i和j间重叠部分的像素数量相等，参数σ_N和σ_g分别是归一化强度误差和增益的标准偏差，选择σ_N＝10.0(I∈{0...255})，σ_g＝0.1；这是一个增益参数g的二次目标函数，在封闭的形式中设置导数趋于0。

所述的多波段融合：每个图像中沿一条射线的每个样值即像素会有相同的强度，它们会相交，但现实并非如此；由于一些未建模的影响，即使在增益补偿后，图像边缘仍然可见，如图像边缘暗淡即朝图像边缘方向强度降低，由于光中心不必要的移动引起的视差效果，摄像头的错误建模、径向畸变等引起的微小的定位误；

从前面的步骤中，考虑到已知的匹配，有n幅图像Iⁱ(x,y)(i∈{1...n})可以被表示在一个共同的球形坐标系Iⁱ(θ,φ)中；为了从多个图像中合并信息，为每个图像分配一个加权函数W(x,y)＝ω(x)ω(y)，其中ω(x)从中心1到边缘0线性变化；加权函数在球形坐标系W^t(θ,φ)内重新采样，融合的一种简单方法是计算沿着每条射线，使用这些加权函数的图像强度的加权总和；如下所示

$I^{linear}(\mathrm{\&theta;},\mathrm{\&phi;})=\frac{{\mathrm{\&Sigma;}}_{i=1}^n{I}^i(\mathrm{\&theta;},\mathrm{\&phi;})W^i(\mathrm{\&theta;},\mathrm{\&phi;})}{{\mathrm{\&Sigma;}}_{i=1}^n{W}^i(\mathrm{\&theta;},\mathrm{\&phi;})}---\left(45\right)$

其中I^linear(θ，φ)是使用线性融合形成的复合球面图像，可是如果有小的匹配错误，这种方法会引起高频细节模糊；为了防止这种情况，使用Burt和Adelson的多波段融合算法，在一个很大的范围空间内融合低频率，在一个小的范围内融合高频率。

Claims (7)

1.一种基于GPU与CPU协同计算的矿井多摄像机视频融合方法，其特征是：该矿井自动多摄像机视频融合方法：针对矿井综掘工作面的特殊工作环境要求，构建GPU与CPU协同计算模型；利用摄像机获得的图像信息自动识别正确的图像序列；利用捆绑调整相机参数求解统一融合平面，分解单摄像机视频帧图像，在多波段对视频进行融合，最终实现高分辨率与高帧率的矿井综掘工作面全景视频；

调度中心获取多个井下摄像机视频信号；对各摄像机获取的视频信号进行处理，根据视角的不同及传感器的差异对存在重合区域的多组视频图像序列进行重新融合，组成一组配准的分辨率高的无缝视频图像序列，生成视频中的每幅图像包含所有视频序列在同一时刻捕获的部分采煤面图像数据的宽视角大型图像；

具体步骤如下：

1)获取每路视频源的图像，对图像帧进行缓存；

2)图像特征提取：对每一幅图像提取尺度不变特征转换特征/加速的鲁棒特征；

3)视频帧图像配准：找到图像变换矩阵，主要包括三个步骤：

a)特征匹配：使用k-d树算法为每个特征点找到k个最邻近的匹配特征点；

b)选择m个候选匹配图像，它们与要匹配的图像有最多的特征匹配点；

c)计算变换矩阵：使用随机采样一致性算法找到图像对应间的变换矩阵H；

d)验证变换矩阵：使用概率模型验证图像匹配的变换矩阵；

4)多摄像机变换参数调整：对已匹配的图像使用光束平差法获取相机的旋转角θ₁、θ₂、θ₃和焦距f等参数，将多个单摄像机图像变换到统一的融合平面上；

5)自动全景校直：去除正确匹配序列中的图像间的波状效应，并记录自动校直参数；

6)增益补偿：对已匹配后序列中的图像进行曝光补偿，并记录补偿参数；

将1)至6)过程中产生的变换矩阵、多摄像机变换参数、自动校直参数、增益补偿参数等保存到缓存区中；

7)多波段融合：加载视频帧缓冲队列中的图像及缓存区中的参数，若参数加载成功，则对图像序列分解多波段，进行全景融合，若参数加载失败，则重新执行步骤1)至6)；

8)针对后续视频流中的每一帧视频图像重复步骤7)；

所述步骤2)和7)在GPU端运行；其它步骤是在系统的CPU端运行。

2.根据权利要求1所述的基于GPU与CPU协同计算的矿井多摄像机视频融合方法，其特征是：所述的图像特征提取：使用SIFT或SURF算法进行特征提取，先对畸变校正后的视频帧图像构建高斯金字塔，然后得到相应的高斯差分金字塔，求得高斯差分金字塔中的极值点，之后进行关键点精确定位，得到各摄像机获取的帧图像的特征点；最后，用特征向量对每一个特征点进行特征描述；

$m(x,y)=\sqrt{{\left(L\right(x+1,y)-L(x-1,y\left)\right)}^2+{\left(L\right(x,y+1)-L(x,y-1\left)\right)}^2}---\left(1\right)$

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))   (2)

公式(16)与公式(17)中的m(x,y)与θ(x,y)是特征点的梯度模值与方向；利用关键点的模值与方向生成关键点特征向量，最终得到的特征点用128维的特征向量表示；SURF算法是对SIFT算法的一种改进，首先构建Hessian矩阵，然后构建图像的尺度空间，检测尺度空间中的极值点作为特征点并精确定位，最终得到64维的特征向量表示。

3.根据权利要求1所述的基于GPU与CPU协同计算的矿井多摄像机视频融合方法，其特征是：所述的视频帧图像配准，具体步骤如下：

1.1.特征匹配

前面部分已经提取得到了图像特征点集合，本部分介绍图像配准的特征点匹配与变换矩阵求解；对于待匹配的两幅图像，其各自的特征点已经以特征向量的形式存储在数组中，特征点匹配就是找到两图像重叠区域中匹配的特征点，通过这些特征点的匹配关系得到一个变换矩阵；使用的索引数据结构是Kd-tree结构，Kd-tree特征匹配主要有两个步骤：

步骤一：构建Kd-tree数据结构；

输入：Data_set数据点集；输出：Kd树，类型为Kd-tree；

(1)如果Data_set数据点集为空，则返回空的Kd树；

(2)计算数据点集所有特征向量每一维的方差，找到方差最大的值对应的维度，该维度的序号就是split的取值；

(3)在split值对应的维度，将所有数据点重新排序，找到处于中间的数据点，该数据点就是最初的dom_elt，并在数据集中减去dom_elt；

(4)数据集中split域对应的维度值小于dom_elt的向量被分到左子空间，即left；split域对应的维度值大于dom_elt的向量被分到右子空间，即right；

(5)对左子空间和右子空间递归调用Kd-tree构建算法；

步骤二：在Kd-tree上进行最邻近查找；

通过以上两个步骤，就得到了Kd-tree数据结构，最终获取所有特征点最邻近的4个特征点；

1.2.计算变换矩阵

得到匹配的特征点对之后，使用随机采样一致性RANSAC算法去除错配的特征点对，利用正确匹配的特征点即内点求得相应的投影变换矩阵

随机采样一致性RANSAC算法具体过程如下：

(1)从特征点对中随机抽选一个RANSAC样本，即4个特征点对；

(2)根据这些抽取的RANSAC样本计算变换矩阵M；

(3)将目标图像的特征点经M矩阵变换，找到满足一定误差范围的特征点集，返回特征点集的个数；

(4)比较求得的新的特征点集与最优一致集中元素的个数，如果新求的特征点集元素个数多，就更新原来的最优一致集；

(5)计算新的最优一致集的错误率，若该错误率大于设定的最小错误率就返回(1)；否则，结束算法。

1.3.验证变换矩阵

对两两图像间是否存在匹配关系，使用几何一致的RANSAC内点和在重叠区域内，不一致的随机采样一致性RANSAC外点来验证；验证模型通过比较正确匹配产生的内点和错误匹配产生的外点的概率来进行验证；

对于一幅给定的图像，重叠区域内总的匹配特征数为n_f，内点为n_i；图像是否有效匹配通过二进制变量m∈{0,1}表示；第i个匹配特征点f⁽ⁱ⁾∈{0,1}是否为内点被假定为独立的贝努利分布，以便于内点总数服从贝努利分布：

$p\left(f^{(1;n_f)}\right|m=1)=B(n_i;n_f,p_1)---\left(4\right)$

$p\left(f^{(1;n_f)}\right|m=0)=B(n_i;n_f,p_0)---\left(5\right)$

其中，p₁是可以正确匹配图像时特征点为内点的概率，p₀是不能实现图像匹配时特征点为内点的概率；表示特征匹配点变量的集合{f⁽ⁱ⁾,i＝1,2,...,n_f}，内点数B(.)是贝努利分布，表示如下：

$B(x;n,p)=\frac{n!}{x!(n-x)!}{p}^x(1-p)n-x---\left(6\right)$

本发明选p₁＝0.6，p₀＝0.1，使用贝叶斯规则计算正确图像匹配的先验概率，如果满足则实现图像自动匹配。

4.根据权利要求1所述的基于GPU与CPU协同计算的矿井多摄像机视频融合方法，其特征是：所述的多摄像机变换参数调整：实现图像的正确匹配之后，使用光束平差法解决相机旋转角θ₁、θ₂、θ₃和焦距f参数问题，以下详述具体过程；

已匹配的图像一个接一个被添加到捆绑调节器，最佳匹配图像在每一步被添加，新图像用与最佳匹配图像具有相同的旋转和焦距长度初始化，然后相机参数使用Levenberg-Marquardt(L-M)算法被更新，L-M算法是介于牛顿法与梯度下降法之间的一种非线性优化方法；

使用的L-M算法中要优化的目标函数是一种抗总差平方投影误差；即每个特征点被投影到所有与它匹配的图像中，并且平方图像距离的总和依据相机参数最小化；考虑到对应关系(u_i ^k表示在图像i第k个特征点的位置)，残差表示为

$r_{ij}^k=u_i^k-p_{ij}^k---\left(7\right)$ 其中对应到u_i ^k的点p_ij ^k是对应于u_i ^k点从图像j到图像i的投影

${\stackrel{\&OverBar;}{p}}_{ij}^k=K_i{R}_i{R}_j^T{K}_j^{-1}{\stackrel{\&OverBar;}{u}}_j^i---\left(8\right)$

误差函数是所有图像抗差剩余误差的和，表示如下：

$e=\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j\&Element;I\left(i\right)}{\&Sigma;}\underset{k\&Element;f(i,j)}{\&Sigma;}h\left(r_{ij}^k\right)---\left(9\right)$

其中n是总的图像数，I(i)是和图像i匹配的图像集，f(i,j)是图像i和图像j的特征匹配集；使用Huber鲁棒性误差函数，如下所示：

$h\left(x\right)=\left\{\begin{array}{ccc}|x{|}^2& if& \left|x\right|<\mathrm{\&sigma;}\\ 2\mathrm{\&sigma;}\left|x\right|-{\mathrm{\&sigma;}}^2& if& \left|x\right|\&GreaterEqual;\mathrm{\&sigma;}\end{array}\right.---\left(10\right)$

5.根据权利要求1所述的基于GPU与CPU协同计算的矿井多摄像机视频融合方法，其特征是：所述的自动全景校直：使用前一步骤的图像配准提供了摄像机间的相对旋转和焦距等参数，但是对于选定的世界坐标系而言仍有一个未知的3D旋转；对于每一幅图像，如果简单的假设R＝I，通常会发现现在输出的全景图中有波状效应，真正的相机不会是完全水平且没有倾斜的；本发明修正这种波形的输出，并且通过利用人们通常拍摄全景图方式的启发式算法自动校直全景图；

相机的参数x向量即水平轴位于一个平面；通过找到相机参数x向量的协方差矩阵的零向量，可以找到“向上的向量”u，包含相机的中心和视距，如下：

$\left(\underset{i=1}{\overset{n}{\&Sigma;}}{X}_i{X}_i^T\right)u=0---\left(11\right)$

垂直向上的向量u，即在呈现的结构中进行整体旋转，非常有效的从输出全景图中消除了波状效应。

6.根据权利要求1所述的基于GPU与CPU协同计算的矿井多摄像机视频融合方法，其特征是：所述的增益补偿：增益补偿是解决光度测量参数，即图像间的总增益；通过相似的方式建立模型，对所有图像定义一个误差函数，误差函数是所有重叠像素的增益归一化轻度误差的和，表示如下：

$e=\frac{1}{2}\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}\underset{u_l\&Element;R(i,j)}{\&Sigma;}{\left(g_i{I}_i\right(u_i)-g_j{I}_j(u_i\left)\right)}^2---\left(12\right)$

其中g_i，g_j是增益，R(i,j)是图像i和图像j的重叠区域；每个重叠区域的平均值I_ij来近似I(u_i)，如下表示：

${\stackrel{\&OverBar;}{I}}_{ij}=\frac{{\mathrm{\&Sigma;}}_{u_i\&Element;R(i,j)}{I}_i\left(u_i\right)}{{\mathrm{\&Sigma;}}_{u_i\&Element;R(i,j)}1}---\left(13\right)$

简化了计算，并给那些图像间错误配准的外点提供了鲁棒性；有一个预先条件保持增益一致，调整后的误差函数表示如下：

$e=\frac{1}{2}\underset{i=1}{\overset{n}{\&Sigma;}}\underset{j=1}{\overset{n}{\&Sigma;}}{N}_{ij}({(g_i{\stackrel{\&OverBar;}{I}}_{ij}-g_j{\stackrel{\&OverBar;}{I}}_{ji})}^2/{\mathrm{\&sigma;}}_N^2+{(1-g_i)}^2/{\mathrm{\&sigma;}}_g^2)---\left(14\right)$

其中N_ij＝|R(i,j)|与图像i和j间重叠部分的像素数量相等，参数σ_N和σ_g分别是归一化强度误差和增益的标准偏差，选择σ_N＝10.0(I∈{0...255})，σ_g＝0.1；这是一个增益参数g的二次目标函数，在封闭的形式中设置导数趋于0。

7.根据权利要求1所述的基于GPU与CPU协同计算的矿井多摄像机视频融合方法，其特征是：所述的多波段融合：每个图像中沿一条射线的每个样值即像素会有相同的强度，它们会相交，但现实并非如此；由于一些未建模的影响，即使在增益补偿后，图像边缘仍然可见，如图像边缘暗淡即朝图像边缘方向强度降低，由于光中心不必要的移动引起的视差效果，摄像头的错误建模、径向畸变等引起的微小的定位误；

从前面的步骤中，考虑到已知的匹配，有n幅图像Iⁱ(x,y)(i∈{1...n})可以被表示在一个共同的球形坐标系Iⁱ(θ,φ)中；为了从多个图像中合并信息，为每个图像分配一个加权函数W(x,y)＝ω(x)ω(y)，其中ω(x)从中心1到边缘0线性变化；加权函数在球形坐标系W^t(θ,φ)内重新采样，融合的一种简单方法是计算沿着每条射线，使用这些加权函数的图像强度的加权总和；如下所示

$I^{linear}(\mathrm{\&theta;},\mathrm{\&phi;})=\frac{{\mathrm{\&Sigma;}}_{i=1}^n{I}^i(\mathrm{\&theta;},\mathrm{\&phi;})W^i(\mathrm{\&theta;},\mathrm{\&phi;})}{{\mathrm{\&Sigma;}}_{i=1}^n{W}^i(\mathrm{\&theta;},\mathrm{\&phi;})}---\left(15\right)$

其中I^linear(θ,φ)是使用线性融合形成的复合球面图像，可是如果有小的匹配错误，这种方法会引起高频细节模糊；为了防止这种情况，使用Burt和Adelson的多波段融合算法，在一个很大的范围空间内融合低频率，在一个小的范围内融合高频率。