CN101931772A - 一种全景视频融合方法、系统及视频处理设备 - Google Patents

Abstract

本发明适用于视频处理技术领域，提供了一种全景视频融合方法，包括以下步骤：计算待融合的n路摄像机视场到全景视场的投影变换，并计算这n路摄像机视场的数字化全景镶嵌视场V₁、V₂、...、V_n；计算全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图W₁、W₂、...、W_n；对n路摄像机实时采集的图像投影变换到全景镶嵌视场，计算它们在全景视场中的镶嵌图T₁、T₂、...、T_n；根据视场融合系数图W₁、W₂、...、W_n，以及全景镶嵌图T₁、T₂、...、T_n，计算瞬时全景视频。本发明提供的全景视频融合技术的原理与摄像机视场的具体几何形状、以及摄像机之间重叠视场的具体几何形状无关，且在摄像机参数不变的情况下只需要计算一次，因此该过程可以快速并行实现。

Description

一种全景视频融合方法、系统及视频处理设备

技术领域

本发明属于视频处理技术领域，尤其涉及一种全景视频融合方法、系统及视频处理设备。

背景技术

视频的实质是随时间变化的图像序列。全景视频生成的基础是全景图像生成。与一般全景图像生成技术不同的是，全景视频生成中的全景图像生成算法的实时性一般要求较高。

目前，全景图像的生成一般采取两类方式：第一类是利用广角镜头或全景反射光学镜头生成全景图像；第二类是利用普通相机获取的多个视角的图像经过变换、拼接、融合为一个包含各视角图像内容的大视场全景图像。

在第二类方式中，由于相机获取的多个视角的图像之间存在视场大小、方向、亮度、色彩等方面的差异，一般需要通过两个步骤才能够将这些图像拼接为一幅无缝全景图像。第一个步骤是对各个图像进行投影变换，将它们变换到一个统一的视场中；第二个步骤是对变换后的各个图像在它们的公共视场交叠区域进行色彩和亮度的一致性调整，消除图像拼接的马赛克效应，即消除全景图像中的拼接痕迹。

目前对全景图像中的公共视场交叠区域进行色彩和亮度的一致性调整的技术主要有下面几种方式：

平均值法：在两幅图像的公共视场重叠区中的像素颜色值是两幅图像的颜色值的平均值。

最佳缝合线法：在两幅图像的公共重叠区域中，寻找出两幅图像中那些颜色值和邻域几何结构最相似的点作为缝合线，在缝合线的一侧只取其中的一幅图像的内容，以实现两幅图像的全景拼接。

多分辨融合法：采用拉普拉斯金字塔型分解、或小波分解将图像分解为多分辨的形式，然后在不同分辨级上进行图像融合，最后将融合后的不同分辨级图像进行多分辨合成。

渐入渐出法：在两幅图像的公共重叠区域中，为每一个像素点计算出一个混合加权系数，该混合加权系数在公共重叠区域中随位置的不同具有渐变过渡特性，将两幅图像中对应的像素按照混合加权系数进行颜色值加权叠加，以使公共区域的色彩和亮度在两幅图像之间呈现出逐渐过渡的特点。该方法也称为阿尔法混合法。

在上述色彩和亮度的一致性调整方式中，渐入渐出法不仅可以得到无缝渐变的全景图像，而且在融合过程中运算相对简单，可以快速实现，因此使用广泛。渐入渐出法的关键是混合加权系数的定义和计算。目前的方法中，混合加权系数的计算方式主要包括：①沿图像的其中一维坐标方向计算混合系数，该方法的主要问题是，在图像重叠区域边界的另外一维坐标方向上会出现明显的拼接痕迹；②图像四边形重叠区域的面积加权法，该方法假设两幅图像的重叠区域为四边形，首先找出四边形四个顶点的位置，计算公共区域中的任意像素点与这四个顶点形成的四个三角形的面积，并以此为基础计算出混合系数。后一种方法虽然可以克服前面方法的缺点，但它只能对重叠区域为四边形的情况进行计算，使得它的使用范围受到限制。

现有渐入渐出融合技术生成全景图像时，存在无法对公共视场重叠区域为任意几何形状时的情况进行有效融合的问题，以及由于公共视场重叠区域的形状不同的原因造成的融合算法不统一的问题。

发明内容

本发明实施例的目的在于提供一种基于图像融合的全景视频融合方法，旨在使视频融合过程与视场的具体几何形状无关，并最终生成无缝全景视频。

本发明实施例是这样实现的，一种全景视频融合方法，包括以下步骤：

步骤a1，利用待融合的n个摄像机分别各采集一幅数字视频图像，并分别计算采集到的n幅图像到全景视场的投影变换，得到n幅图像的数字化全景镶嵌视场V₁、V₂、...、V_n；其中，所述全景视场由n路视频中的任意一路视频的视场在空间坐标方向上进行延拓后得到；

步骤a2，根据步骤a1的计算得到的n幅图像的数字化全景镶嵌视场V₁、V₂、...、V_n计算所述n幅图像的全景整体视场V_P；

步骤a3，对所述全景整体视场V_P中的每一个像素点，计算覆盖所述像素点的所有的镶嵌视场的相异视场边界集合E_sk；

步骤a4，计算所述像素点到所述每一个相异视场边界集合E_sk的距离，并进一步根据计算得到的距离分别计算所述像素点针对于所述每一个相异视场边界集合E_sk相关联的镶嵌视场的融合加权系数w_sk；

步骤a5，根据步骤a4的计算结果计算待融合的n个摄像机的数字化全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图W₁、W₂、...、W_n；

步骤a6，计算n个摄像机的数字化全景镶嵌视场V₁、V₂、...、V_n的全景镶嵌图T₁、T₂、...、T_n；

步骤a7，结合步骤a5计算得到的n个摄像机的数字化全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图和步骤a6计算得到的全景镶嵌图T₁、T₂、...、T_n，根据如下公式计算瞬时全景视频图像T_P：

$T_p\left(X\right)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\left(W_k\left(X\right)T_k\left(X\right)\right),$ 其中X为全景视场中的像素点。

本发明实施例还提供了一种全景视频融合系统，包括：

n路摄像机视频图像采集单元，用于采集n路摄像机的瞬时视频图像；

视场投影变换单元，用于计算待融合的n路摄像机视场到全景视场的投影变换，并计算这n路摄像机视场的数字化全景镶嵌视场V₁、V₂、...、V_n；其中，所述全景视场由n路视频中的任意一路视频的视场在空间坐标方向上进行延拓后得到；

融合加权系数图计算单元，用于计算全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图W₁、W₂、...、W_n；

镶嵌图运算单元，用于对n个摄像机实时采集的瞬时视频图像，在投影变换到全景镶嵌视场后，计算它们在全景视场中的镶嵌图T₁、T₂、...、T_n；

全景视频合成单元，用于根据视场融合系数图W₁、W₂、...、W_n，以及全景镶嵌图T₁、T₂、...、T_n，根据如下公式计算瞬时全景视频图像T_p：

$T_p\left(X\right)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\left(W_k\left(X\right)T_k\left(X\right)\right),$ 其中X为全景视场中的像素点。

本发明实施例还提供了一种包括如上所述的全景视频融合系统的全景视频处理设备。

本发明实施例中，全景视频融合技术的计算过程分为融合系数计算过程、以及全景视频合成过程两个阶段；融合系数的计算与摄像机视场的具体几何形状、以及摄像机之间重叠视场的具体几何形状无关，且在摄像机参数不变的情况下只需要计算一次；全景视频生成过程中不再需要计算融合系数，因此该过程可以快速并行实现。本发明技术可将具有视场连通的n路摄像机的分立视频快速融合为无缝整体全景视频。

附图说明

图1A和图1B是本发明实施例提供的n路视频的全景视频融合方法的实现流程图；

图2是本发明实施例提供的数字化全景视场中的像素点X、全景基准视场V_B、全景镶嵌视场V_k、以及全景镶嵌视场V_k的区域掩模图R_k的示意图；

图3是本发明实施例提供的像素点X的3×3邻域N(X)的示意图；

图4是本发明实施例提供的在三个镶嵌视场V_s1、V_s2、V_s3的共同视场重叠区域中的像素点X_s，以及对应于X_s的相异视场边界E_s1、E_s2、E_s3示意图；

图5是本发明实施例提供的n路视频的全景视频融合系统的结构原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例可将具有视场连通的n路摄像机的分立视频快速融合为无缝整体全景视频。本发明实施例中，2路摄像机是视场连通的含义是指：该2路摄像机的视场在空间上存在公共重叠区域；视场连通的n路摄像机是指：从n路摄像机中取出任意的2路，一定可以在该n路摄像机中找到一个摄像机序列，该序列的首摄像机是此2路中的其中1路，该序列的尾摄像机是此2路中的另外1路，该序列中间的摄像机是该n路摄像机中除此2路摄像机之外的其它路摄像机，且在该序列中的任意相邻的2个摄像机是视场连通的。

本发明实施例中，全景视频融合技术将计算过程分为融合系数计算过程、以及全景视频合成过程两个阶段，整个视频融合的过程基于图像融合。一旦n路摄像机的内外参数，以及摄像机之间的相对位置确定后，融合系数就确定了，只有在上述成像条件发生改变后，才需要重新计算融合系数。在全景视频合成过程中，由于不再计算融合系数，因此可以大大降低运算负荷，另外，由于在全景视频合成过程中，每一个像素点的融合都可以独立完成，不需要周围像素点的信息，因此融合过程可以并行实现，从而在原理上保证了本发明全景视频融合方法对计算实时性的要求。

在本发明实施例中除了假设n路待融合视频是视场连通的，还假设其中的每个摄像机视场到全景视场的投影变换矩阵已经得到。

现有技术中投影变换矩阵的获取方法有多种，其中基于尺度不变特征变换(SIFT)的特征匹配点提取和匹配点对的RANSAC提纯方法的投影矩阵计算方法是较佳的一种，它可以利用公共视场重叠区域的图像特征点对，自动计算出两个连通视场之间的投影变换矩阵，此处不再一一列举。n路视频的全景视频融合中，可以将其中1路视频的视场作为全景基准视场，并在空间坐标方向上进行延拓后作为全景视场，然后寻找到其它摄像机的视场到该全景基准视场的投影变换矩阵。由于本发明实施例已假设n路摄像机是视场连通的，因此可以用前述方法经适当扩展计算出各摄像机到全景基准视场的投影变换矩阵，此处不再一一列举。

下面结合实施例对本发明全景视频融合方法的原理进行详细描述。

图1A和图1B示出了本发明实施例提供的n路视频的全景视频融合方法的实现流程，其中，步骤S101到步骤S105是融合系数计算过程，步骤S106到步骤S108是全景视频合成过程。详述如下。

在步骤S101中，对待融合的n个摄像机中的每1个摄像机采集1幅数字视频图像，分别计算这n幅图像到全景视场的投影变换，得到它们的数字化全景镶嵌视场V₁、V₂、...、V_n；并分别用区域掩模图R₁、R₂、...、R_n来表示镶嵌视场V₁、V₂、...、V_n。图2是本发明实施例提供的数字化全景视场中的像素点X、全景基准视场V_B、全景镶嵌视场V_k、以及全景镶嵌视场V_k的区域掩模图R_k的示意图。对应于全景镶嵌视场V_k的掩模图R_k的计算如公式(1)，

$R_k\left(X\right)=\left\{\begin{array}{cc}1,& X\∈V_k\\ 0,& X\∉V_k\end{array}\right.,$ k＝1，2，...，n                                     (1)

公式(1)中，X＝(x，y)，是全景视场中像素点的空间位置坐标。

在步骤S102中，计算全景整体视场V_P：

V_P＝V₁∪V₂∪...∪V_n

其中，∪是集合的并运算符号，全景整体视场V_P的掩模图R_P的计算如公式(2)，

$R_P\left(X\right)=\left\{\begin{array}{cc}1,& X\∈V_P\\ 0,& X\∉V_P\end{array}\right.---\left(2\right)$

公式(1)中的R_k(X)、公式(2)中的R_P(X)可以理解为集合的指示函数，表示元素X是否属于该集合。因此掩模图R_k、R_P可以表示像素点的集合。其中，R_P是所有n个镶嵌视场的掩模图R_k，k＝1，2，...，n的并集。附图2是本发明实施例提供的数字化全景视场中的像素点X、全景基准视场V_B、全景镶嵌视场V_k、以及全景镶嵌视场V_k的区域掩模图R_k的示意图。

在步骤S103中，对全景整体视场中的每一个像素点，计算覆盖该像素点的所有的镶嵌视场的相异视场边界集合E_sk。计算过程详述如下：

假设给定像素点X_s∈V_P，并定义镶嵌视场V_sk的掩模图R_sk为：

$R_{\mathrm{sk}}\left(X\right)=\left\{\begin{array}{cc}1,& X\∈V_{\mathrm{sk}}\\ 0,& X\∉V_{\mathrm{sk}}\end{array}\right.$

若R_sk(X_s)＝1，则镶嵌视场V_sk覆盖像素点X_s。假定共有m个镶嵌视场V_s1、V_s2、...、V_sm覆盖点X_s，则X_s∈V_s1∩V_s2∩...∩V_sm，并且这些镶嵌视场的掩模图分别为R_s1、R_s2、...、R_sm；定义针对像素点X_s的局部全景视场V_sp为

V_sp＝V_s1∪V_s2∪...∪V_sm

局部全景视场V_sp对应的掩模图R_sp的计算如公式(3)

$R_{\mathrm{sp}}\left(X\right)=\left\{\begin{array}{cc}1,& X\∈V_{\mathrm{sp}}\\ 0,& X\∉V_{\mathrm{sp}}\end{array}\right.---\left(3\right)$

则关于X_s的镶嵌视场集合V_s1、V_s2、...、V_sm相关的相异视场边界集合E_s1、E_s2、...、E_sm的计算如公式(4)，

$E_{\mathrm{sk}}\left(X_s\right)=\left\{\begin{array}{cc}1,& \left[R_{\mathrm{sk}}\left(X_s\right)\underset{X_i\&Element;N\left(X_s\right)}{\mathrm{\&Pi;}}{R}_{\mathrm{sp}}\left(X_i\right)\right]=1\\ 0,& \mathrm{otherwise}\end{array}\right.,$ 且 $1<\underset{X_i\&Element;N\left(X_s\right)}{\mathrm{\&Sigma;}}{R}_{\mathrm{sk}}\left(X_i\right)<9---\left(4\right)$

在公式(4)中，k＝1，2，...，m，∏是连乘积运算符，∑是累加和运算符。N(X)是X的以X为中心的3×3邻域，是一个由9个元素组成的集合，请参阅附图3，其中在公式(4)中的X₅＝X_S。E_sk(X)可以看成是集合E_sk的指示函数。图4是本发明实施例提供的在三个镶嵌视场V_s1、V_s2、V_s3的共同视场重叠区域中的像素点X_s，以及对应于X_s的相异视场边界E_s1、E_s2、E_s3示意图。

在步骤S104中，计算像素点X_s到相异视场边界集合E_s1、E_s2、...、E_sm的距离d_s1、d_s2、...、d_sm，并根据距离d_s1、d_s2、...、d_sm，分别计算X_s针对于镶嵌视场V_s1、V_s2、...、V_sm的融合加权系数w_s1、w_s2、...、w_sm。具体如下：

距离d_sk(X_s)，k＝1，2，...，m，的具体计算如公式(5)：

d_sk(X_s)＝min{||X_s-X_i||，X_i∈E_sk}， $X_s\&Element;{\&cap;}_{k=1}^m{R}_{\mathrm{sk}}---\left(5\right)$

公式(5)中，min{·}是求集合中最小元素的运算，R_sk是镶嵌视场V_sk的掩模图，也可以看成是V_sk的像素点集合，||X_s-X_i||是公共重叠区域中的点X_s到相异边界集合中的点X_i之间的距离运算。假设X_s＝(x，y)，X_i＝(x_i，y_i)，采用欧氏距离，则具体距离的计算如公式(6)：

$\left|\right|X_s-X_i\left|\right|=\sqrt{{(x-x_i)}^2+{(y-y_i)}^2}---\left(6\right)$

在公式(5)中，d_sk(X_s)的实质是一种点到集合之间的距离。d_sk(X_s)定义为点X_s到集合E_sk中与其距离最近的点之间的距离。由d_sk(X_s)，k＝1，2，...，m计算X_s针对于镶嵌视场V_sk的融合加权系数w_sk，k＝1，2，...，m如公式(7)：

$w_{\mathrm{sk}}\left(X_s\right)=\frac{d_{\mathrm{sk}}\left(X_s\right)}{{\mathrm{\&Sigma;}}_{i=1}^m{d}_{\mathrm{si}}\left(X_s\right)},$ k＝1，2，...，m，                       (7)

在步骤S103和S104中，若m＝1，即像素点X∈V_P只被1个视场V_s覆盖时，则w_s(X_s)＝1。

在步骤S105中，计算待融合的n个摄像机的镶嵌视场V₁、V₂、...、V_n的融合加权系数图W₁、W₂、...、W_n。计算公式如公式(8)所示：

在公式(8)中，∪、∩分别是集合的并、交运算符；公式(8)中，第1个式子的条件是：像素点X只被视场V_k覆盖；第2个式子的条件是：像素点X被m≥2个视场覆盖，且V_k是这m个视场中的其中一个；第3个式子的条件是：视场V_k不覆盖像素点X。公式(8)第2个式子中的w_sk(X)由所述步骤S103和S104中的公式(4)、(5)、(7)计算得到。

使用公式(8)对所有X∈V_P计算的对应于全景镶嵌视场V₁、V₂、...、V_n的W₁(X)、W₂(X)、...、W_n(X)称为融合加权系数图。融合加权系数图在n个摄像机的内部参数和摄像机之间相对视场参数不变的情况下保持不变，因此，融合加权系数图在全景视频融合中只需要计算1次，除非摄像机的内外参数发生变化后，需要重新计算。

存储计算出的融合加权系数图W₁、W₂、...、W_n，以便后续查表使用。

步骤S106：对n个摄像机实时采集的图像投影变换到全景镶嵌视场V₁、V₂、...、V_n，计算它们在全景视场中的镶嵌图T₁、T₂、...、T_n。

本发明中所述的待融合图像和融合后的全景图像都是数字图像，由于数字图像具有离散的特点，在图像投影变换到全景视场后得到的镶嵌图中，某些像素点可能是空缺的，因此需要使用图像插值方法补全那些空缺的像素点。现有技术中，图像的插值方法有多种，其中的双线性插值方法是较佳的一种，此处不再一一列举。

应当注意的是，步骤S106的运算与前述计算各个融合加权系数图W₁、W₂、...、W_n的运算无直接关系，可以独立进行步骤S106的运算。

步骤S107：根据视场融合系数图W₁、W₂、...、W_n，以及全景镶嵌图T₁、T₂、...、T_n，计算瞬时全景视频图像，计算公式如公式(9)所示：

$T_p\left(X\right)=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\left(W_k\left(X\right)T_k\left(X\right)\right)---\left(9\right)$

步骤S108：重复循环执行步骤S106和步骤S107即可得到融合后的全景视频。

所述公式(1)-(9)的计算过程中，并未涉及n个摄像机视场、摄像机的全景镶嵌视场、以及全景镶嵌视场的公共视场重叠区域的具体几何形状。因此本发明所述的视频融合方法是一种与视频图像视场具体几何形状，以及视场重叠区域具体几何形状无关的方法，是一种通用的融合方法。本发明所述全景视频融合方法非常适合解决这类多摄像机，且公共重叠区域具有非规则几何形状的全景视频融合问题。

本领域普通技术人员可以理解实现上述各实施例提供的方法中的全部或部分步骤可以通过程序指令及相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该存储介质可以为ROM/RAM、磁盘、光盘等。

图5示出了本发明实施例提供的全景视频融合系统的结构原理，为了便于描述，仅示出了与本实施例相关的部分。此全景视频融合系统可以为内置于全景视频处理设备中的软件单元、硬件单元或软硬件结合的单元。

参照图5，n路摄像机视频图像采集单元51，用于采集n路摄像机的瞬时视频图像；视场投影变换单元52，用于计算待融合的n路摄像机视场到全景视场的投影变换，并计算这n路摄像机视场的数字化全景镶嵌视场V₁、V₂、...、V_n；融合加权系数图计算单元53，用于计算全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图W₁、W₂、...、W_n；融合加权系数图存储单元54，存储计算出的融合加权系数图W₁、W₂、...、W_n，以便后续查表使用；镶嵌图运算单元55，用于对n个摄像机实时采集的瞬时视频图像，在投影变换到全景镶嵌视场后，计算它们在全景视场中的镶嵌图T₁、T₂、...、T_n。全景视频合成单元56，用于根据视场融合系数图W₁、W₂、...、W_n，以及全景镶嵌图T₁、T₂、...、T_n，计算瞬时全景视频图像T_p。

其中，上述各模块进行全景视频参数运算及融合运算的原理如上文所述，此处不再赘述。

本发明实施例中，全景视频融合的过程基于图像融合，具体地，计算待融合的n路摄像机视场到全景视场的投影变换，并计算这n路摄像机视场的数字化全景镶嵌视场V₁、V₂、...、V_n；计算全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图W₁、W₂、...、W_n；对n路摄像机实时采集的图像投影变换到全景镶嵌视场，计算它们在全景视场中的镶嵌图T₁、T₂、...、T_n；根据视场融合系数图W₁、W₂、...、W_n，以及全景镶嵌图T₁、T₂、...、T_n，计算瞬时全景视频。本发明提供的全景视频融合技术的计算过程分为融合系数计算过程、以及全景视频合成过程两个阶段；融合系数的计算与摄像机视场的具体几何形状、以及摄像机之间重叠视场的具体几何形状无关，且在摄像机参数不变的情况下只需要计算一次；全景视频合成过程中不再需要计算融合系数，因此该过程可以快速并行实现。本发明实施例解决了现有融合方法在m(n≥m≥2)路摄像机的共同公共重叠视场区域、且重叠区域几何形状为任意时，无法很好地对该共同公共重叠视场区域的m路视频图像进行全景融合的问题，实现了一种通用的将具有视场连通的n路摄像机的分立视频快速融合为无缝整体全景视频的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种全景视频融合方法，其特征在于，包括以下步骤：

步骤a1，利用待融合的n个摄像机分别各采集一幅数字视频图像，并分别计算采集到的n幅图像到全景视场的投影变换，得到n幅图像的数字化全景镶嵌视场V₁、V₂、...、V_n；其中，所述全景视场由n路视频中的任意一路视频的视场在空间坐标方向上进行延拓后得到；

步骤a2，根据步骤a1的计算得到的n幅图像的数字化全景镶嵌视场V₁、V₂、...、V_n计算所述n幅图像的全景整体视场V_P；

步骤a3，对所述全景整体视场V_P中的每一个像素点，计算覆盖所述像素点的所有的镶嵌视场的相异视场边界集合E_sk；

步骤a4，计算所述像素点到每一个相异视场边界集合E_sk的距离，并进一步根据计算得到的距离分别计算所述像素点针对于所述每一个相异视场边界集合E_sk相关联的镶嵌视场的融合加权系数w_sk；

步骤a5，根据步骤a4的计算结果计算待融合的n个摄像机的数字化全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图W₁、W₂、...、W_n；

步骤a6，计算n个摄像机的视频图像在所述数字化全景镶嵌视场V₁、V₂、...、V_n中的全景镶嵌图T₁、T₂、...、T_n；

步骤a7，结合步骤a5计算得到的n个摄像机的数字化全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图和步骤a6计算得到的全景镶嵌图T₁、T₂、...、T_n，根据如下公式计算瞬时全景视频图像T_P：

$T_p\left(X\right)=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\left(W_k\left(X\right)T_k\left(X\right)\right),$ 其中X为全景视场中的像素点。

2.如权利要求1所述的方法，其特征在于，步骤a2中通过以下公式计算所述n幅图像的全景整体视场V_P：

V_P＝V₁∪V₂∪...∪V_n，其中，∪是集合的并运算符号。

3.如权利要求1所述的方法，其特征在于，所述步骤a3具体为：

假设给定像素点X_s∈V_P，并定义镶嵌视场V_sk的掩模图R_sk为：

$R_{\mathrm{sk}}\left(X\right)=\left\{\begin{array}{cc}1,& X\&Element;V_{\mathrm{sk}}\\ 0,& X\&NotElement;V_{\mathrm{sk}}\end{array}\right.$

则若R_sk(X_s)＝1，则镶嵌视场V_sk覆盖像素点X_s，假定共有m个镶嵌视场V_s1、V_s2、...、V_sm覆盖点X_s，则X_s∈V_s1∩V_s2∩...∩V_sm，其中，∩是集合的交运算符号；并且这些镶嵌视场的掩模图分别为R_s1、R_s2、...、R_sm；定义针对所述像素点X_s的局部全景视场V_sp为：

V_sp＝V_s1∪V_s2∪...∪V_sm

所述局部全景视场V_sp对应的掩模图R_sp的计算公式如下：

$R_{\mathrm{sp}}\left(X\right)=\left\{\begin{array}{cc}1,& X\&Element;V_{\mathrm{sp}}\\ 0,& X\&NotElement;V_{\mathrm{sp}}\end{array}\right.$

则关于所述X_s的镶嵌视场集合V_s1、V_s2、...、V_sm相关的相异视场边界集合E_s1、E_s2、...、E_sm的计算公式如下：

若

且则E_sk(X_s)＝1，否则E_sk(X_s)＝0，其中，k＝1，2，...，m，∏是连乘积运算符，∑是累加和运算符，N(X)是X的以X为中心的3×3邻域，是一个由9个元素组成的集合。

4.如权利要求1所述的方法，其特征在于，在所述步骤a4中，所述像素点到所述每一个相异视场边界集合的距离d_sk根据如下公式计算得到：

d_sk(X_s)＝min{||X_s-X_i||，X_i∈E_sk}，

其中，k＝1，2，...，m，min{·}是求集合中最小元素的运算，R_sk是镶嵌视场V_sk的掩模图，也可以看成是V_sk的像素点集合，||X_s-X_i||是公共重叠区域中的点X_s到相异边界集合中的点X_i之间的距离运算；假设X_s＝(x，y)，X_i＝(x_i，y_i)，采用欧氏距离，则具体距离的计算公式如下：

$\left|\right|X_s-X_i\left|\right|=\sqrt{{(x-x_i)}^2+{(y-y_i)}^2}$

其中，d_sk(X_s)的实质是一种点到集合之间的距离，d_sk(X_s)定义为点X_s到集合E_sk中与其距离最近的点之间的距离；

在所述步骤a4中，所述像素点针对于所述每一个相异视场边界集合E_sk相关联的镶嵌视场的融合加权系数的计算过程如下：

$w_{\mathrm{sk}}\left(X_s\right)=\frac{d_{\mathrm{sk}}\left(X_s\right)}{{\mathrm{\&Sigma;}}_{i=1}^m{d}_{\mathrm{si}}\left(X_s\right)},$ k＝1，2，...，m。

5.如权利要求4所述的方法，其特征在于，所述步骤a5具体通过如下公式计算得到待融合的n个摄像机的数字化全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图：

其中，∪、∩分别是集合的并、交运算符；第1个式子的条件是：像素点X只被视场V_k覆盖；第2个式子的条件是：像素点X被m≥2个视场覆盖，且V_k是这m个视场中的其中一个；第3个式子的条件是：视场V_k不覆盖像素点X。

6.一种全景视频融合系统，其特征在于，包括：

n路摄像机视频图像采集单元，用于采集n路摄像机的瞬时视频图像；

视场投影变换单元，用于计算待融合的n路摄像机视场到全景视场的投影变换，并计算这n路摄像机视场的数字化全景镶嵌视场V₁、V₂、...、V_n；其中，所述全景视场由n路视频中的任意一路视频的视场在空间坐标方向上进行延拓后得到；

融合加权系数图计算单元，用于计算全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图W₁、W₂、...、W_n；

镶嵌图运算单元，用于对n个摄像机实时采集的瞬时视频图像，在投影变换到全景镶嵌视场后，计算它们在全景视场中的镶嵌图T₁、T₂、...、T_n；

全景视频合成单元，用于根据视场融合系数图W₁、W₂、...、W_n，以及全景镶嵌图T₁、T₂、...、T_n，根据如下公式计算瞬时全景视频图像T_p：

$T_p\left(X\right)=\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}\left(W_k\left(X\right)T_k\left(x\right)\right),$ 其中X为全景视场中的像素点。

7.如权利要求6所述的全景视频融合系统，其特征在于，还包括：

融合加权系数图存储单元，用于所述存储融合加权系数图计算单元计算出的融合加权系数图W₁、W₂、...、W_n。

8.如权利要求6所述的全景视频融合系统，其特征在于，所述融合加权系数图计算单元具体通过以下方式计算得到全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图W₁、W₂、...、W_n：

首先通过以下公式计算所述n幅图像的全景整体视场V_P：

V_P＝V₁∪V₂∪...∪V_n，其中，∪是集合的并运算符号；

然后对所述全景整体视场V_P中的每一个像素点，通过以下公式计算覆盖所述像素点的所有的镶嵌视场的相异视场边界集合E_sk：

假设给定像素点X_s∈V_P，并定义镶嵌视场V_sk的掩模图R_sk为：

$R_{\mathrm{sk}}\left(X\right)=\left\{\begin{array}{cc}1,& X\&Element;V_{\mathrm{sk}}\\ 0,& X\&NotElement;V_{\mathrm{sk}}\end{array}\right.$

则若R_sk(X_s)＝1，则镶嵌视场V_sk覆盖像素点X_s，假定共有m个镶嵌视场V_s1、V_s2、...、V_sm覆盖点X_s，则X_s∈V_s1∩V_s2∩...∩V_sm，其中，∩是集合的交运算符号；并且这些镶嵌视场的掩模图分别为R_s1、R_s2、...、R_sm；定义针对所述像素点X_s的局部全景视场V_sp为：

V_sp＝V_s1∪V_s2∪...∪V_sm

所述局部全景视场V_sp对应的掩模图R_sp的计算公式如下：

$R_{\mathrm{sp}}\left(X\right)=\left\{\begin{array}{cc}1,& X\&Element;V_{\mathrm{sp}}\\ 0,& X\&NotElement;V_{\mathrm{sp}}\end{array}\right.$

则关于X_s的镶嵌视场集合V_s1、V_s2、...、V_sm相关的相异视场边界集合E_s1、E_s2、...、E_sm的计算公式如下：

若且

则E_sk(X_s)＝1，否则E_sk(X_s)＝0，其中，k＝1，2，...，m，∏是连乘积运算符，∑是累加和运算符，N(X)是X的以X为中心的3×3邻域，是一个由9个元素组成的集合；

再根据如下公式计算得到所述像素点到所述每一个相异视场边界集合的距离d_sk：

d_sk(X_s)＝min{||X_s-X_i||，X_i∈E_sk}，

其中，k＝1，2，...，m，min{·}是求集合中最小元素的运算，R_sk是镶嵌视场V_sk的掩模图，也可以看成是V_sk的像素点集合，||X_s-X_i||是公共重叠区域中的点X_s到相异边界集合中的点X_i之间的距离运算；假设X_s＝(x，y)，X_i＝(x_i，y_i)，采用欧氏距离，则具体距离的计算公式如下：

$\left|\right|X_s-X_i\left|\right|=\sqrt{{(x-x_i)}^2+{(y-y_i)}^2}$

其中，d_sk(X_s)的实质是一种点到集合之间的距离，d_sk(X_s)定义为点X_s到集合E_sk中与其距离最近的点之间的距离；

再根据如下公式计算得到所述像素点针对于所述每一个相异视场边界集合E_sk相关联的镶嵌视场的融合加权系数：

$w_{\mathrm{sk}}\left(X_s\right)=\frac{d_{\mathrm{sk}}\left(X_s\right)}{{\mathrm{\&Sigma;}}_{i=1}^m{d}_{\mathrm{si}}\left(X_s\right)},$ k＝1，2，...，m；

最后通过如下公式计算得到待融合的n个摄像机的数字化全景镶嵌视场V₁、V₂、...、V_n的融合加权系数图：

其中，∪、∩分别是集合的并、交运算符；第1个式子的条件是：像素点X只被视场V_k覆盖；第2个式子的条件是：像素点X被m≥2个视场覆盖，且V_k是这m个视场中的其中一个；第3个式子的条件是：视场V_k不覆盖像素点X。

9.一种全景视频处理设备，其特征在于，包括如权利要求6至8任一项所述的全景视频融合系统。

Images