CN102314686A - 一种拼接类全景视频的基准视场确定方法、系统及设备 - Google Patents

Abstract

本发明适用于图像处理技术领域，提供了一种拼接类全景视频的基准视场确定方法、系统及全景视频处理设备。本发明从找出整体形变度量最小的投影变换出发，将与最小形变度量对应的目标变换视场确定为基准视场，提高了拼接类全景视频的整体质量，较好地解决了摄像机阵列全景视频拼接中由于基准视场选取不当而造成的全景视频整体质量下降的问题。

Description

一种拼接类全景视频的基准视场确定方法、系统及设备

技术领域

本发明属于图像处理技术领域，尤其涉及一种拼接类全景视频的基准视场确定方法、系统及设备。

背景技术

目前，实时全景视频的生成一般采取两类方式：第一类是利用广角镜头或全景反射光学镜头生成全景视频；第二类是利用多个摄像机获取的多个视角的视频经过变换、拼接、融合为一个包含各视角视频内容的大视场全景视频。

其中，在第二类方式中，将处于一个近似成像平面上的多摄像机组成摄像机阵列，将阵列中的摄像机置于方向基本一致的前视状态，阵列中相邻摄像机之间的视场具有一定的重叠，则阵列中的全部摄像机的视场可组成一个高分辨的大视场。要将这样一个摄像机阵列中各个摄像机的视频实时拼接起来组成一个实时全景视频，一般来说又有两种方法。其中第一种方法是采用全人工的方式，这类方式对阵列中各摄像机之间的参数一致性要求非常高，人工调校的难度非常大；第二种方法是采用计算机自动学习全景拼接参数，并完成视频全景的自动拼接。在第二种方法中一般只需要操作人员将阵列中的每个摄像机的视场置于一个基本一致的平面上，并将相邻摄像机之间的视场粗略调校到有一定的重叠，而其它的任务则由计算机自动完成。

上述第二种方法在进行阵列全景视频自动拼接过程中存在一个关键问题：基准视场的选取问题。在上述自由摄像机阵列全景视频的拼接中，阵列中各摄像机的视场一般不会在一个严格的平面上，视场之间的重叠区域也是事先未定标的，因此在摄像机阵列全景视频生成时，需要选定某一个摄像机视场所在的坐标系作为基准的全景参考坐标系，而将阵列中的其它摄像机的视场通过空间投影变换到该参考坐标系下，然后利用融合技术生成全景视频。上述作为基准的参考坐标系是阵列中某个摄像机的视场坐标系，因此也称该坐标系为基准视场。

在摄像机阵列中，基准视场的选择对全景视频的生成质量影响较大。一般来说，选择不同的基准视场，在生成全景视频时由各个摄像机视场对基准视场投影变换后产生的视场误差也不相同。若整体的误差越小则生成的全景视频的质量越好。因此，如何选择误差最小的基准视场是摄像机阵列全景视频拼接中的一个关键问题之一。

在摄像机阵列全景视频生成中，现有的技术通常是人为地在摄像机阵列中选取其中一个摄像机的视场作为基准视场，其它视场按照映射关系投影变换到该基准视场的坐标系中。这种基准视场的人为选择方法在摄像机阵列规模较小时效果尚可，但在摄像机阵列较大时，由于阵列中的每个摄像机的视场都具有一定的自由性，因此，人为选出的基准视场往往并非最佳的基准视场。

总之，现有技术中针对摄像机阵列全景视频拼接中最优基准视场的自动选取尚没有一个较好的解决方法。

发明内容

本发明所要解决的技术问题在于提供一种拼接类全景视频的基准视场确定方法，旨在通过摄像机阵列生成全景视频时选择最优的基准视场，提高拼接类全景视频的整体质量。

本发明是这样实现的，一种拼接类全景视频的基准视场确定方法，包括下述步骤：

步骤A，在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；

步骤B，于所述摄像机阵列中选取摄像机i，根据步骤A得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δ_i；

步骤C，按照i为1至n的顺序重复步骤B，得到n个几何形变度量之和，在选取过的n个摄像机中，将与其中最小的几何形变度量之和相对应的摄像机的视场确定为基准视场；其中n为所述的摄像机阵列中摄像机的数量。

进一步地，所述步骤B具体包括下述步骤：

步骤B1，由每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；

步骤B2，在步骤B1中得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；

步骤B3，根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；

步骤B4，根据所述单源最短路径树和任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场；

步骤B5，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。

进一步地，设定所述单源最短路径树中从当前根节点k到非根节点p的路径经过的节点序列为：k、k1、...、p，对应的视场分别为V_k0、V_k1、...、V_km，其中，V_k0＝V_k，V_km＝V_p，所述步骤B3通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵：

H_kp＝H_k1H_k2…H_km

其中，H_kp为非根节点p的视场V_p到当前根节点k的视场V_k的投影变换矩阵，H_ki为由视场V_ki到视场V_k(i-1)的投影变换矩阵，i＝1，2，...，m。

本发明还提供了一种拼接类全景视频的基准视场确定系统，包括：

邻接摄像机子集合查找单元，用于在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；

几何形变度量计算单元，用于在所述摄像机阵列中选取摄像机i，根据所述邻接摄像机子集合查找单元得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δ_i，并按照i为1至n的顺序重复步骤B，得到n个几何形变度量之和，其中n为所述的摄像机阵列中摄像机的数量；

基准视场确定单元，用于在选取过的n个摄像机中，将所述几何形变度量计算单元计算得到的n个几何形变度量之和中最小的一个所对应的摄像机的视场确定为基准视场。

进一步地，所述几何形变度量计算单元包括：

视场连通关系的视场邻接关系图构造模块，用于根据所述邻接摄像机子集合查找单元查找到的每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；

单源最短路径树生成模块，用于在所述视场连通关系的视场邻接关系图构造模块得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；

投影变换矩阵计算模块，用于根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树生成模块生成的单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；

投影变换模块，用于根据所述单源最短路径树生成模块生成的单源最短路径树，和所述投影变换矩阵计算模块计算得到的任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场；

视场形变度量计算模块，用于在所述投影变化模块进行投影变换处理后，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。

进一步地，设定所述单源最短路径树中从当前根节点k到非根节点p的路径经过的节点序列为：k、k1、...、p，对应的视场分别为V_k0、V_k1、...、V_km，其中，V_k0＝V_k，V_km＝V_p，所述投影变换矩阵计算模块通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵：

H_kp＝H_k1H_k2…H_km

其中，H_kp为非根节点p的视场V_p到当前根节点k的视场V_k的投影变换矩阵，H_ki为由视场V_ki到视场V_k(i-1)的投影变换矩阵，i＝1，2，...，m。

进一步地，对于当前根节点所代表的摄像机的邻接摄像机子集合中的摄像机，其对应的非根节点与当前根节点直接相连通；而对于不属于当前根节点所代表的摄像机的邻接摄像机子集合的摄像机，其对应的非根节点则通过与当前根节点直接相连通的非根节点间接连通。

进一步地，所述几何形变度量包括面积形变度量和角度形变度量。

本发明还提供了一种全景视频处理设备，其与一摄像机阵列连接，所述全景视频处理设备包括一如上所述的拼接类全景视频的基准视场确定系统。

本发明从找出整体形变度量最小的投影变换出发，将与最小形变度量对应的目标变换视场确定为基准视场，提高了拼接类全景视频的整体质量，较好地解决了摄像机阵列全景视频拼接中由于基准视场选取不当而造成的全景视频整体质量下降的问题，其原理主要有以下两点：

其一，在全景拼接中，计算出的投影变换矩阵一般存在误差，形变较大的视场对应的误差在平均意义下往往较大；在单源最短路径树中，间接连通视场的投影变换矩阵的计算中，会累积各个级联的投影变换矩阵中的误差，形变小就意味着累积误差在平均意义下比较小。变换误差小则图像的非正常扭曲就较小。

其二，由于目前数字图像一般是以规则的矩形栅格形式显示和存储的，投影变换后的视场中的图像必须经过插值步骤以填充栅格点处的像素。插值实际上是对图像像素值进行的估计，在相同的插值算法下，视场的形变小，则插值产生的整体误差往往较小；反之则较大。插值误差小则图像的失真就较小。

附图说明

图1是本发明实施例提供的拼接类全景视频的基准视场确定方法的实现流程图；

图2是本发明实施例提供的一个3×3摄像机阵列示例的视场分布示意图；

图3是图2所示3×3摄像机阵列的视场邻接子集合的列表；

图4是图1所示步骤B的实现流程图；

图5是图2所示3×3摄像机阵列的视场邻接关系图；

图6A和图6B是图5所示的视场邻接关系图生成的以V₁为根节点的两个单源最短路径树的示意图；

图7是图5所示的视场邻接关系图生成的以V₅为根节点的单源最短路径树的示意图；

图8是本发明实施例提供的视场投影变换前后的形变示意图；

图9是本发明实施例提供的拼接类全景视频的基准视场确定系统的结构原理图；

图10是图9中几何形变度量计算单元的结构原理图；

图11是本发明实施例提供的全景视频处理设备与摄像机阵列的连接关系图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例中，从找出整体形变度量最小的投影变换出发，将与最小形变度量对应的目标变换视场确定为基准视场，并进一步可以此时的投影变换关系矩阵作为摄像机阵列中该摄像机视场到全景视场的投影变换矩阵。

图1示出了本发明实施例提供的方法的实现流程，详述如下。

在步骤A中，在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵。

对摄像机阵列中给定的一个摄像机，寻找与其具有公共重叠视场的邻接摄像机的子集合可以通过计算机自动实现，但目前计算机全自动寻找摄像机阵列中相邻子集合的方法在阵列规模增大时运算量会急剧增大，准确性也会下降。而在实际中，通过人工对各个摄像机视场观察和交互，确定并标注阵列中与该摄像机邻近的摄像机子集合的方法，相对来说是一种高效和高准确性的方法，并且一般的操作人员就可以很好地胜任，此处不再一一列举。

在阵列中与给定摄像机邻近的摄像机子集合确定后，需要计算该摄像机视场与邻近子集合中每个摄像机视场的投影变换矩阵。现有技术中，计算具有部分公共重叠视场的两个摄像机视场之间的投影变换矩阵的方法有多种，其中基于尺度不变特征变换(SIFT)的特征匹配点提取和匹配点对的RANSAC提纯方法的投影矩阵计算方法是较佳的一种，它可以利用公共视场重叠区域的图像特征点对，自动计算出投影变换矩阵，此处不再一一列举。

假设在具有n个摄像机的摄像机阵列中，记编号为k的摄像机的视场为V_k，与V_k有部分公共重叠视场的邻近摄像机的子集合记为{V_ki，i＝k₁，k₂，...，k_m}，从视场V_k到视场V_ki的投影变换关系矩阵记为H_ki，i＝k₁，k₂，...，k_m，k＝1，2，...，n。其中，不同的摄像机由于其在阵列中的位置不同，其具有的视场邻近子集合中的摄像机数量k_m一般也不同。投影变换矩阵H是一个如公式(1)所示的3×3矩阵，参数h₀、h₁、h₃、h₄控制尺度变化和旋转变化，h₂控制水平方向位移，h₅控制垂直方向位移，h₆、h₇控制水平和垂直方向形变。

$H=\left(\begin{array}{ccc}{h}_0& h_1& h_2\\ h_3& h_4& h_5\\ h_6& h_7& 1\end{array}\right)---\left(1\right)$

图2是一个3×3摄像机阵列示例的视场分布示意图，其中各个视场及其邻接子集合的情况在图3的列表中示出，表中的“1”表示纵横两个视场有重叠，“0”表示无重叠。图3表中的第k行表示的是第k个摄像机视场V_k的视场邻接子集合。例如，第2行表示视场V₂的视场邻接子集合是{V₁，V₃，V₅，V₆}，该邻接子集合中的视场对于V₂的投影变换关系矩阵分别记为H₂₁、H₂₃、H₂₅、H₂₆。

在步骤B中，于所述摄像机阵列中选取摄像机i，根据步骤A得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δ_i。

在一个摄像机阵列中，各个摄像机视场之间可能有着错综复杂的重叠，而从一个摄像机的视场投影变换到另一个摄像机的视场可能有不同的变换途径，比如在图2所示的投影视场分布中，从视场V₁投影变换到视场V₉，可以按照V₁---V₅---V₈---V₉的路径变换三次，也可以按照V₁---V₄---V₇---V₈---V₉的路径变换四次。而上述的“最少次数的投影变换处理”是指按照最短的路径实现最终的投影变换。

本实施例中，步骤B具体如图4所示，应当理解，具体实施时还可以通过其他方式实现“最少次数的投影变换处理”。

参照图4，步骤B1，由每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图。

上述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接。图5是图2所示的3×3摄像机阵列的视场连通邻接关系图G(Graph)，它可由图3所示的视场邻接子集合列表生成。有关邻接关系图G的生成，以及在计算机中的数据表示方式在计算机科学技术类的教科书中有论述，此处不再赘述。

步骤B2，在步骤B1中得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通。

参照图5，邻接关系图G中任取其中的一个节点V_k作为根节点，生成该节点的单源最短路径树T(Tree)。节点V_k的单源最短路径树T_k是指，该树T_k中任给的一个节点V_i到根节点V_k的路径都是邻接关系图G中的一条通路，且该通路在邻接关系图G中经过的中间节点数最少。图6A和图6B是由图5的邻接关系图选取节点V₁为根节点的两个单源最短路径树，图7是由图5的邻接关系图选取节点V₅为根节点的单源最短路径树。对于当前根节点所代表的摄像机的邻接摄像机子集合中的摄像机，其对应的非根节点与当前根节点直接相连通；而对于不属于当前根节点所代表的摄像机的邻接摄像机子集合的摄像机，其对应的非根节点则通过与当前根节点直接相连通的非根节点间接连通，以图7为例，与当前根节点V₅直接相连通的V₁、V₂、V₄、V₆、V₈属于当前根节点V₅所代表的摄像机的邻接摄像机子集合，而V₃、V₇、V₉不属于当前根节点所代表的摄像机的邻接摄像机子集合，需分别通过非根节点V₂、V₄、V₈与当前根节点V₅间接连通。

由图6A和图6B可知，节点V_k的单源最短路径树T_k一般是不唯一的，但是在V_k的单源最短路径树T_k中，每个节点的深度是固定的。其中，节点在树T中的深度是指该节点到达根节点的路径中经过的边的数量。而单源最短路径树的深度定义为该树中具有最大深度的节点的深度。在图2所示的3×3摄像机阵列中，节点V₁的单源最短路径树的深度为3，节点V₅的单源最短路径树的深度为2。

步骤B3，根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵。

给定节点V_k的单源最短路径树T_k，计算树T_k中的节点V_p到根节点V_k的投影变换关系矩阵的方法如下：

假设树T_k中从节点V_k到V_p的路径经过的节点序列为：V_k0、V_k1、...、V_km，其中，V_k0＝V_k，V_km＝V_p。由树T_k的构造过程可保证节点V_k(i-1)和V_ki，i＝1，2，...m，表示的视场具有邻接关系，并假设由视场V_ki到V_k(i-1)的投影变换矩阵为H_ki，则由视场V_p到V_k的投影变换矩阵可由公式(2)的矩阵乘法公式计算得到。

H_kp＝H_k1H_k2…H_km    (2)

其中，H_kp为非根节点p的视场V_p到当前根节点k的视场V_k的投影变换矩阵，H_ki为由视场V_ki到视场V_k(i-1)的投影变换矩阵，i＝1，2，...，m。

由于在阵列中任何一个摄像机视场与其邻接子集合中的每一个摄像机视场的投影变换矩阵已经在步骤A中计算得到，而在树T_k中的每一个节点都与根节点存在一条视场连通的通路，因此每一个节点相对于根节点的投影变换矩阵均可由公式(2)所示的方法计算得到。

步骤B4，根据所述单源最短路径树和任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场。

根据在步骤B3中得到的节点V_k的单源最短路径树T，以及树中对应的各个节点对根节点的投影变换关系矩阵，对每个摄像机视场进行投影变换。具体为，假设节点V_p到V_k的投影变换关系矩阵如公式(1)所示，视场V_p的点(x，y)变换为视场V_k中的点(x’，y’)，则变换前后对应点对的坐标之间的关系如公式(3)所示：

$\left(\begin{array}{c}{x}^{\′}\\ y^{\′}\\ 1\end{array}\right)=H\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{h}_0& h_1& h_2\\ h_3& h_4& h_5\\ h_6& h_7& 1\end{array}\right)\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)---\left(3\right)$

步骤B5，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。

为了更好地描述节点V_k的单源最短路径树T_k的视场整体累积形变度量的计算方法，下面首先介绍本发明中对单个的视场在投影变换前后的形变度量计算方法，如下所论述：

由于摄像机的原始视场一般为矩形，而投影变换将原视场的点变换为投影视场的点，将原视场中的直线变换为投影视场中的直线或点，因此原摄像机视场的投影视场一般是一个凸四边形(在极端情况下可能退化为三角形或一条直线，在本发明中不考虑极端情况投影退化的情况)。为了更清楚地说明本发明中视场投影变换前后视场的形变度量计算方法，请参阅图8。具体详述如下：

在图8中，假设左图为投影变换前的视场形状，右图为投影变换后的视场形状。投影变换前矩形视场的四个顶点分别为A₀、B₀、C₀、D₀，对角线的交点为O₀，投影变换后视场凸四边形的四个顶点分别为A₁、B₁、C₁、D₁，对角线的交点为O₁；假设投影变换前，视场中的四个三角形A₀B₀O₀、B₀C₀O₀、C₀D₀O₀、D₀A₀O₀的面积分别为：S₀₁、S₀₂、S₀₃、S₀₄，这四个三角形经过投影，分别变换为三角形A₁B₁O₁，B₁C₁O₁，C₁D₁O₁，D₁A₁O₁，并且假设它们的面积分别为：S₁₁、S₁₂、S₁₃、S₁₄；进一步假设，如图8所示的原视场中的角：θ₁、θ₂、θ₃、θ₄、θ₅、θ₆、θ₇、θ₈分别变换为投影后视场中的角β₁、β₂、β₃、β₄、β₅、β₆、β₇、β₈。可知原视场的面积S＝S₀₁+S₀₂+S₀₃+S₀₄，则原视场在投影变换前后面积的形变度量定义为：

${\mathrm{\δ}}_S=\frac{1}{S}\underset{k=1}{\overset{4}{\mathrm{\Σ}}}|S_{0k}-S_{1k}|---\left(4\right)$

视场在投影变换前后角度的形变度量定义为：

${\mathrm{\δ}}_{\mathrm{\θ}}=\frac{1}{2\mathrm{\π}}\left(\underset{k=1}{\overset{8}{\mathrm{\Σ}}}\right|{\mathrm{\θ}}_k-{\mathrm{\β}}_k|+\underset{k=1}{\overset{4}{\mathrm{\Σ}}}|{\mathrm{\θ}}_{2k}+{\mathrm{\θ}}_{2k+1}-{\mathrm{\β}}_{2k}-{\mathrm{\β}}_{2k+1}\left|\right)---\left(5\right)$

在公式(5)的右边第二项中，θ₉＝θ₁，β₉＝β₁。由公式(4)的面积的形变度量和公式(5)的角度的形变度量一起，构造视场在投影变换前后的几何形变度量如公式(6)所示：

δ＝(1+δ_S)(1+δ_θ)                            (6)

定义了上述单个视场在投影变换前后的几何形变度量，下面叙述本发明中节点V_k的单源最短路径树T_k的视场整体累积形变度量的计算方法。如下所述：

假设经过步骤A和B1构造出的摄像机阵列的视场邻接关系图G中共有n个(摄像机)节点。由步骤B3知，在图G中节点V_k的单源最短路径树T_k的根节点为V_k，将树T_k的其它的非根节点分别记为V_ki，i＝1，2，...，(n-1)，非根节点V_ki相对于根节点V_k的投影变换关系矩阵H_ki，i＝1，2，...，(n-1)可由步骤B3计算得到。由投影变换矩阵H_ki，i＝1，2，...，(n-1)对节点V_ki，i＝1，2，...，(n-1)对应的视场分别进行投影变换，利用公式(4)、公式(5)和公式(6)分别计算出非根节点节点V_ki，i＝1，2，...，(n-1)对应的视场经过投影变换后的几何形变度量：δ_ki，i＝1，2，...，(n-1)。则节点V_k的单源最短路径树T_k的视场整体累积几何形变度量定义为：

${\mathrm{\δ}}_k=\underset{i=1}{\overset{N-1}{\mathrm{\Σ}}}{\mathrm{\δ}}_{\mathrm{ki}}---\left(7\right)$

最终得到由该单源最短路径树描述的摄像机阵列连通视场的整体累积形变度量。

若V_k的单源最短路径树T_k不止一株(如图6A和图6B所示)，假设共有m_k株，记为：T_k(j)，j＝1，2，...，m_k，此时则需要计算出每一株T_k(j)的视场整体累积几何形变度量δ_k(j)，j＝1，2，...，m_k，并找出视场整体累积几何形变度量最小的那株树T_k(q)：

$q=\underset{j}{\arg \min }\{{\mathrm{\δ}}_k\left(j\right),j=\mathrm{1,2},...m_k\}---\left(8\right)$

则在这种情况下，令V_k的单源最短路径树：T_k＝T_k(q)，T_k的视场整体累积几何形变度量则为：δ_k＝δ_k(q)。

在步骤C中，按照i为1至n的顺序重复步骤B，得到n个几何形变度量之和，在选取过的n个摄像机中，将与其中最小的几何形变度量之和相对应的摄像机的视场确定为基准视场；其中n为所述的摄像机阵列中摄像机的数量。

例如在步骤B1得到的邻接关系图G中，选择不同的节点V_k，k＝1，2，...，n作为根节点，重复上述步骤B3、B4至B5的过程，找出节点V_k，k＝1，2，...，n的单源最短路径树T_k，k＝1，2，...，n；并计算出T_k，k＝1，2，...，n的视场整体累积几何形变度量：δ_k，k＝1，2，..，，n；找出具有最小整体几何形变度量的那株树T_p：

$p=\underset{k}{\arg \min }\{{\mathrm{\δ}}_k,k=\mathrm{1,2},...N\}---\left(9\right)$

则树T_p称为本发明所述摄像机阵列中的最优单源最短路径树，树T_p的根节点V_p所对应的摄像机的视场则作为本发明摄像机阵列全景拼接的基准视场。最优单源最短路径树T_p的每个非根节点V_pi，i＝1，2，...，(n-1)到根节点V_p的投影变换关系矩阵H_pi，i＝1，2，...，(n-1)作为本发明摄像机阵列全景视频拼接中的视场V_pi，i＝1，2，...，(n-1)到基准视场V_p的投影变换矩阵。

由上面的叙述可知，步骤C是一个优化过程。在摄像机阵列规模较小时，该优化过程可以采用穷举的方法实现。当摄像机阵列规模比较大时，为了加快优化过程，可以采用模拟退火、遗传算法、粒子群优化算法等方法。这些优化方法在现有的教科书中有详细的论述，此处不再赘述。

本领域普通技术人员可以理解实现上述各实施例提供的方法中的全部或部分步骤可以通过程序指令及相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该存储介质可以为ROM/RAM、磁盘、光盘等。

图9示出了本发明实施例提供的拼接类全景视频的基准视场确定系统的结构原理，为了便于描述，仅示出了与本实施例相关的部分。此系统可以为内置于全景视频处理设备中的软件单元、硬件单元或软硬件结合的单元。

参照图9，本发明实施例提供的拼接类全景视频的基准视场确定系统包括邻接摄像机子集合查找单元91、几何形变度量计算单元92、基准视场确定单元93，其中邻接摄像机子集合查找单元91在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵。几何形变度量计算单元92在所述摄像机阵列中选取摄像机i，根据所述邻接摄像机子集合查找单元得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δ_i，并按照i为1至n的顺序重复步骤B，得到n个几何形变度量之和，其中n为所述的摄像机阵列中摄像机的数量。基准视场确定单元93在选取过的n个摄像机中，将所述几何形变度量计算单元计算得到的n个几何形变度量之和中最小的一个所对应的摄像机的视场确定为基准视场。

进一步地，图10示出了几何形变度量计算单元92一实施例，包括视场连通关系的视场邻接关系图构造模块921、单源最短路径树生成模块922、投影变换矩阵计算模块923、投影变换模块924、视场形变度量计算模块925。

其中，视场连通关系的视场邻接关系图构造模块921根据所述邻接摄像机子集合查找单元查找到的每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接。

单源最短路径树生成模块922在所述视场连通关系的视场邻接关系图构造模块得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通。

对于当前根节点所代表的摄像机的邻接摄像机子集合中的摄像机，其对应的非根节点与当前根节点直接相连通；而对于不属于当前根节点所代表的摄像机的邻接摄像机子集合的摄像机，其对应的非根节点则通过与当前根节点直接相连通的非根节点间接连通。

投影变换矩阵计算模块923根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树生成模块生成的单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵。

设定所述单源最短路径树中从当前根节点k到非根节点p的路径经过的节点序列为：k、k1、...、p，对应的视场分别为V_k0、V_k1、...、V_km，其中，V_k0＝V_k，V_km＝V_p，所述投影变换矩阵计算模块通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵：

H_kp＝H_k1H_k2…H_km

其中，H_kp为非根节点p的视场V_p到当前根节点k的视场V_k的投影变换矩阵，H_ki为由视场V_ki到视场V_k(i-1)的投影变换矩阵，i＝1，2，...，m。

投影变换模块924根据所述单源最短路径树生成模块生成的单源最短路径树，和所述投影变换矩阵计算模块计算得到的任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场。

视场形变度量计算模块925在所述投影变化模块进行投影变换处理后，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。

上述各单元、模块的实现原理如上文所述，此处不再一一赘述。

本发明还提供了一种全景视频处理设备，如图11所示，此全景视频处理设备111与摄像机阵列112连接，其特征在于，全景视频处理设备中还包括包括一如上所述的拼接类全景视频的基准视场确定系统。

本发明实施例通过对摄像机阵列中的任一摄像机，找出与其具有部分公共重叠视场的摄像机邻接子集合，计算该摄像机视场与邻接子集合中每个摄像机视场的投影变换关系矩阵；由阵列中所有摄像机的邻接子集合及它们的投影变换关系矩阵，构造摄像机阵列的视场邻接关系图；任取邻接关系图中的一个节点作为根节点，由阵列的邻接关系图构造阵列的单源最短路径树，并计算树中每一个节点到根节点的投影变换关系矩阵；根据上述投影变换关系矩阵对树中非根节点的每个摄像机视场进行投影变换，计算上述每个投影变换视场的形变度量，并对每个视场的形变度量求和得到该单源最短路径树描述的阵列连通视场的整体累积形变度量；改变根节点，重复上述过程，找出整体累积形变度量最小的那棵单源最短路径树，该树的根节点所在的摄像机视场作为基准视场，该最优单源最短路径树的每个节点到根节点的投影变换关系矩阵作为摄像机阵列中该摄像机视场到全景视场的投影变换矩阵。本发明提高了拼接类全景视频的整体质量，较好地解决了摄像机阵列全景视频拼接中由于基准视场选取不当而造成的全景视频整体质量下降的问题。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种拼接类全景视频的基准视场确定方法，其特征在于，包括下述步骤：

步骤A，在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；

步骤B，于所述摄像机阵列中选取摄像机i，根据步骤A得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δ_i；

步骤C，按照i为1至n的顺序重复步骤B，得到n个几何形变度量之和，在选取过的n个摄像机中，将与其中最小的几何形变度量之和相对应的摄像机的视场确定为基准视场；其中n为所述的摄像机阵列中摄像机的数量。

2.如权利要求1所述的方法，其特征在于，所述步骤B具体包括下述步骤：

步骤B1，由每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；

步骤B2，在步骤B1中得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；

步骤B3，根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；

步骤B4，根据所述单源最短路径树和任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场；

步骤B5，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。

3.如权利要求2所述的方法，其特征在于，设定所述单源最短路径树中从当前根节点k到非根节点p的路径经过的节点序列为：k、k1、...、p，对应的视场分别为V_k0、V_k1、...、V_km，其中，V_k0＝V_k，V_km＝V_p，所述步骤B3通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵：

H_kp＝H_k1H_k2…H_km

其中，H_kp为非根节点p的视场V_p到当前根节点k的视场V_k的投影变换矩阵，H_ki为由视场V_ki到视场V_k(i-1)的投影变换矩阵，i＝1，2，...，m。

4.如权利要求2所述的方法，其特征在于，在所述单源最短路径树中，对于当前根节点所代表的摄像机的邻接摄像机子集合中的摄像机，其对应的非根节点与当前根节点直接相连通；而对于不属于当前根节点所代表的摄像机的邻接摄像机子集合的摄像机，其对应的非根节点则通过与当前根节点直接相连通的非根节点间接连通。

5.如权利要求1所述的方法，其特征在于，所述几何形变度量包括面积形变度量和角度形变度量。

6.一种拼接类全景视频的基准视场确定系统，其特征在于，包括：

邻接摄像机子集合查找单元，用于在预拼接视频的摄像机阵列中，对每一个摄像机找出与其具有公共重叠视场的邻接摄像机子集合，并计算每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵；

几何形变度量计算单元，用于在所述摄像机阵列中选取摄像机i，根据所述邻接摄像机子集合查找单元得到的每个摄像机的邻接摄像机子集合及其投影变换矩阵，将所述摄像机阵列中的其他摄像机的视场均通过最少次数的投影变换处理变换到选取的摄像机i的投影视场，并计算其他摄像机的视场在变换前后的几何形变度量之和δ_i，并按照i为1至n的顺序重复步骤B，得到n个几何形变度量之和，其中n为所述的摄像机阵列中摄像机的数量；

基准视场确定单元，用于在选取过的n个摄像机中，将所述几何形变度量计算单元计算得到的n个几何形变度量之和中最小的一个所对应的摄像机的视场确定为基准视场。

7.如权利要求6所述的系统，其特征在于，所述几何形变度量计算单元包括：

视场连通关系的视场邻接关系图构造模块，用于根据所述邻接摄像机子集合查找单元查找到的每个摄像机的邻接子集合，构造描述摄像机阵列的视场连通关系的视场邻接关系图；所述视场邻接关系图中包括若干节点和连接在节点之间的连接线，其中每一个节点表示所述摄像机阵列中的一个摄像机视场，之间具有连接线的两个节点表示所代表的两个摄像机的视场相邻接；

单源最短路径树生成模块，用于在所述视场连通关系的视场邻接关系图构造模块得到的视场邻接关系图中，任意选取其中的一个节点作为当前根节点，生成该当前根节点的单源最短路径树；在所述单源最短路径树中，任一非根节点均可经过最少的节点与当前根节点直接或间接相连通；

投影变换矩阵计算模块，用于根据每一个摄像机视场与其邻接子集合中的各个摄像机视场的投影变换矩阵，计算所述单源最短路径树生成模块生成的单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵；

投影变换模块，用于根据所述单源最短路径树生成模块生成的单源最短路径树，和所述投影变换矩阵计算模块计算得到的任一非根节点到当前根节点的投影变换矩阵，将每个非根节点所代表的摄像机的视场进行投影变换处理以变换到当前根节点所代表的摄像机的视场；

视场形变度量计算模块，用于在所述投影变化模块进行投影变换处理后，计算所述单源最短路径树中的每个非根节点所代表的摄像机视场在投影变换前后的视场形变度量，并对每个非根节点所代表的形变度量求和。

8.如权利要求7所述的系统，其特征在于，设定所述单源最短路径树中从当前根节点k到非根节点p的路径经过的节点序列为：k、k1、...、p，对应的视场分别为V_k0、V_k1、...、V_km，其中，V_k0＝V_k，V_km＝V_p，所述投影变换矩阵计算模块通过下述公式计算所述单源最短路径树中的任一非根节点到当前根节点的投影变换矩阵：

H_kp＝H_k1H_k2…H_km

其中，H_kp为非根节点p的视场V_p到当前根节点k的视场V_k的投影变换矩阵，H_ki为由视场V_ki到视场V_k(i-1)的投影变换矩阵，i＝1，2，...，m。

9.如权利要求7所述的系统，其特征在于，对于当前根节点所代表的摄像机的邻接摄像机子集合中的摄像机，其对应的非根节点与当前根节点直接相连通；而对于不属于当前根节点所代表的摄像机的邻接摄像机子集合的摄像机，其对应的非根节点则通过与当前根节点直接相连通的非根节点间接连通。

10.一种全景视频处理设备，其与一摄像机阵列连接，其特征在于，所述全景视频处理设备包括一如权利要求6至9任一项所述的拼接类全景视频的基准视场确定系统。

Images