CN103501409A - 一种超高分辨率全景高速球一体机系统 - Google Patents

Abstract

本发明涉及图像信息处理技术，提供了一种超高分辨率全景高速球一体机系统及其视频拼接和空间配准方法，装置包括机座元件、包括多个摄像机的全景拼接视频摄像机、高速球、控制器、壳体和支架；视频拼接方法包括计算查找表、计算拼接线、图像融合等步骤；空间配准方法包括建立全景拼接图像坐标系、将全景拼接图像平均分成若干个矩形区域、采样并计算采样点的映射关系和采用双线性插值方法计算非采样点映射关系。本发明既能实现全景的监控，也能同时提供高分辨率的监控场景，通过全景实时拼接摄像机与高速球的配准联动，实现对感兴趣目标快速精准的聚焦定位、缩小放大和快速平稳浏览。

Description

一种超高分辨率全景高速球一体机系统

技术领域

本发明涉及图像信息处理技术，特指一种超高分辨率的全景高速球一体机的装置与配准方法。

背景技术

目前，在军事侦查领域，大量的摄像机被安装在无人机等侦查装备上。随着军事侦查对视频图像的分辨率以及视频图像中的目标信息要求越来越高，传统摄像机的不足日益显现。由于拍摄视角范围有限，传统摄像机只能侦查前方某一固定角度空间内的场景，这很大程度上限制侦查范围，降低了侦查效率。

近年来，随着视频监控技术的发展，利用鱼眼镜头获取180°全景图像的技术越来越成熟。全景摄像机是采用鱼眼镜头装置，生成包含空间180°场景信息的全景视频图像，使得军事侦查可以实现全景全方位。虽然全景图像可以给用户提供大范围的侦查监控，但是较低的分辨率成为侦查过程中的短板。

高速球是现今市场中的高端一体化摄像设备。这种摄像机能够快速精准的聚焦定位、缩小放大和快速平稳的环视浏览，使得用户可以快速侦查目标的细节如可疑目标的特征等。但高速球的观察范围有限，不能同时兼顾多个不同的场景。因此，仅仅利用单一的高速球摄像机无法满足侦查需求。

发明内容：

为了克服以上缺陷，本发明提出了超高分辨率全景摄像机与高速球相配合的超高分辨率全景凝视摄像机装置。超高分辨率全景摄像机采用视频实时拼接技术，将多路视频拼接成大视角、高分辨率的视频，克服了鱼眼镜头摄像机分辨率低的缺点。高速球可以对侦查目标快速精准的聚焦定位、缩小放大和快速平稳环视浏览。本发明它创新性的将全景实时拼接超高分辨率摄像机和高速球摄像机一体化相结合，充分发挥两者在侦查领域的优势，达到最佳的侦查效果。本发明提出的装置可以安装到无人机等高空侦查设备上，实时获取地面的大范围、高分辨的视频图像，实现对地面的监控侦查。

本发明采用的技术方案是：

一种超高分辨率全景高速球一体机系统，包括机座元件、全景拼接视频摄像机、高速球、控制器、壳体和支架；所述全景拼接视频摄像机包括多个均匀分布的摄像机，用于获取360度全景视频图像；所述机座元件为圆形，用于固定所述多个摄像机；所述高速球位于机座元件中心的下方，与所述全景拼接视频摄像机具有相同的安装轴；所述壳体安装在全景拼接视频摄像机与高速球的外部，所述支架设置在机座元件上方，用于与外部固定；相邻摄像机形成的图像之间重叠部分的宽度满足图像拼接的要求，并且所述摄像机的数量满足使所有摄像机有效图幅的水平边长对应的视角叠加后不小于360度；所述控制器用于接收所述多个摄像机的图像并完成拼接，并且通过空间配准实现全景拼接视频摄像机与高速球的配准联动。

进一步地，每个所述摄像机分别旋转90度后再固定安装，即每个摄像机有效图幅的水平边长小于其有效图幅的竖直边长；每个所述摄像机均采用CMOS或者CCD元件。

进一步地，每个所述摄像机均为1080P摄像机，共有14个，每个摄像机的视角为30度，每组相邻摄像机的重叠视角为5度；每个摄像机与水平轴的角度为30度。

本发明还提供了一种用于上述超高分辨率全景高速球一体机系统的视频实时拼接方法，包括以下步骤：

S101.对各摄像机进行配准，计算各相邻摄像机之间的查找表；

S102.计算相邻摄像机图像的重叠区域以及各重叠区域的缝合线；

S103.采用金字塔融合方法对图像进行融合。

进一步地，所述步骤S101的具体方法为：

（1）通过SIFT特征点检测与匹配，得到初始匹配特征点集合；

（2）利用RANSAC算法滤除误匹配点，获得最终匹配特征点集合；

（3）根据所述最终匹配特征点集合求解变换关系，获得查找表，并根据全景拼接图像的尺寸对查找表进行裁剪。

进一步地，所述步骤S102的具体方法为：

（1）确定相邻摄像机图像的重叠区域；

（2）计算各重叠区域的图像差异；

（3）采用动态规划算法计算查找各重叠区域的缝合线。

本发明还提供了一种用于上述超高分辨率全景高速球一体机系统的空间配准方法，包括以下步骤：

S201.建立全景拼接图像坐标系：全景拼接图像左上方顶点为坐标原点O，水平向右为X轴正向，竖直向下为Y轴正向；

S202.将全景拼接图像平均分成若干个矩形区域：全景拼接图像的大小记为U_pano×V_pano，将全景拼接图像平均分成M×N个矩形区域，M是列数，N是行数，则每个矩形区域的大小为(U_pano/M)×(V_pano/N)；

S203.采样并计算采样点的映射关系：选取每个矩形区域四个顶点位置像素点作为采样点，则得到(M+1)×(N+1)个采样点；对于每一个采样点P_i(x_i,y_i)，其中下标i表示采样点的序号，x_i,y_i分别表示该采样点的坐标，控制高速球转动到该采样点对应的实际目标点位置，使该实际目标点位置调整到高速球图像的中心位置，记录此时高速球的旋转角度

表示偏航角，θ_i表示俯仰角；这样就得到了每个采样点对应的高速球旋转角度；

S204.采用双线性插值方法计算非采样点映射关系：对于任意一个非采样点P(x,y)，先判断该非采样点所在矩形区域；再通过其所在矩形区域的四个采样点来计算该非采样点对应高速球摄像机的旋转角度

设对应的四个采样点分别为

求解

的具体公式为：

则：

${\mathrm{\θ}}^{\′}=\frac{x_2-x}{x_2-x_1}{\mathrm{\θ}}_1+\frac{x-x_1}{x_2-x_1}{\mathrm{\θ}}_2;$

${\mathrm{\θ}}^{\′\′}=\frac{x_2-x}{x_2-x_1}{\mathrm{\θ}}_3+\frac{x-x_1}{x_2-x_1}{\mathrm{\θ}}_4;$

则： $\mathrm{\θ}=\frac{y_2-y}{y_2-y_1}{\mathrm{\θ}}^{\′}+\frac{y-y_1}{y_2-y_1}{\mathrm{\θ}}^{\′\′};$

其中

θ'和θ''为计算过程中的中间变量。

在得到该非采样点P(x,y)对应的高速球旋转角度

后，控制调整高速球按照该角度

进行旋转，则可以得到用户感兴趣位置的高分辨率细节图像。

本发明取得的技术效果是：能够实现大场景、宽视角同时拥有高分辨率的视频监控，解决了高分辨率与大场景不能同时获得的矛盾，既能实现全景的监控，也能同时提供高分辨率的监控场景。运用上述装置与方法能够最终实现侦查监控大范围场景，360度视角并且拥有超高分辨率的监控视频，同时通过全景拼接视频摄像机与高速球之间的配准联动，实现对感兴趣目标的快速精准的聚焦定位、缩小放大和快速平稳浏览。

附图说明：

图1是本发明的一个实施例中全景拼接视频摄像机示意图。该实施例共安装有14个摄像机安装位置，序号1到7表示半圆上七个摄像机的安装相对位置。

图2高速球实物图。

图3机座元件设计示意图。L_i表示第i个摄像机水平视野最左端，R_i表示第i个摄像机水平视野最右端。对于第i个摄像机，L_i到R_i的视角为30度。每相邻两个摄像机之间的重叠视角角度为5度，即图中L₄到R₃的角度为5度，L₅到R₄的角度为5度。7个摄像机视角达到180度。

图4摄像机安装角度。摄像机轴与水平轴成30度角。

图5CMOS旋转90度示意图。将CMOS旋转90度，增加竖直视角的宽度，达到两排摄像机镜头拼接的效果。

图6全景拼接视频摄像机与高速球相对位置示意图。

图7是配准后图像的相对位置关系以及重叠区域。

图8是图像缝合线示意图。其中，S表示缝合线的起点，T表示缝合线的终点，黑线表示缝合线。黑线经过的位置的差异值之和是所有路线中差异最小的。

图9全景图像坐标，全景图像分块以及双线性插值方法计算非采样点映射关系示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明。

图1至图6所示是本发明所述超高分辨率全景高速球一体机系统的一个实施例。包括机座元件、全景拼接视频摄像机、高速球、控制器、壳体和支架；所述全景拼接视频摄像机包括多个均匀分布的摄像机，用于获取360度全景视频图像；所述机座元件为圆形，用于固定所述多个摄像机；所述高速球位于机座元件中心的下方，与所述全景拼接视频摄像机具有相同的安装轴；所述壳体安装在全景拼接视频摄像机与高速球的外部，所述支架设置在机座元件上方，用于与外部固定；相邻摄像机形成的图像之间重叠部分的宽度满足图像拼接的要求，并且所述摄像机的数量满足使所有摄像机有效图幅的水平边长对应的视角叠加后不小于360度；所述控制器用于接收所述多个摄像机的图像并完成拼接，并且通过空间配准实现全景拼接视频摄像机与高速球的配准联动。

如图1所示，本发明中全景拼接视频摄像机用于获取大视角、超高分辨率的全景实时拼接视频图像，本实施例中全景拼接视频摄像机由14个1080P摄像机组成，提供360度全景视频的1920×1080×12的高分辨率视频。机座元件设计为圆形，保证摄像机组在同一个球面上，减小各摄像头之间的视差。机座元件用来固定摄像机组，为一个360度的圆形金属支架。

如图2所示是本实施例中高速球的实物图，高速球用于快速精准的聚焦定位、缩小放大和快速平稳环视浏览。

如图3所示，机座元件上有14个均匀分布的位置固定1080P摄像机，每个摄像机的视角为30度，每两个摄像机重叠视角为5度。通过14个摄像机实现横向视野360度的全景视频。

本实施例中全景拼接视频摄像机中摄像机为1080P的摄像机，安装固定摄像机时，摄像机的轴与水平成30度，斜向下，如图4。固定摄像机时，将摄像机传感器旋转90度，如图5。正常拍摄的视频图像为1920*1080像素，旋转后的拍摄的视频图像为1080*1920像素。这样可以扩展竖直视角。摄像机采用感光芯片CMOS或者CCD元件。

本发明中全景拼接视频摄像机与高速球的控制方式可以采用线路控制，并且其中每个摄像机与高速球的数据可以通过外部接口读取。全景拼接视频摄像机与高速球的相对位置可以根据实际情况来设置安装，之后通过空间配准方法来进行两个设备之间的配准联动。壳体安装在全景拼接视频摄像机与高速球外围，保护整个装置。支架安装在全景拼接视频摄像机组的后端。本实施例中高速球与全景拼接视频摄像机同轴上下安装，高速球顶端与机座固定元件的距离h=20厘米，如图6。

为了解决全景拼接视频摄像机实时拼接问题，本发明提供一种视频实时拼接方法，包括：

S101.对各摄像机进行配准，计算各相邻摄像机之间的查找表；

S102.计算相邻摄像机图像的重叠区域以及各重叠区域的缝合线；

S103.采用金字塔融合方法对图像进行融合。

针对全景实时拼接问题，本发明提出的全景摄像机实时拼接的方法，首先对摄像机进行配准，计算摄像机之间的查找表，计算查找表是确定摄像机之间相对位置关系的过程；然后计算相邻视频帧的重叠区域，重叠区域的差异和计算最优缝合线；最后采用金字塔融合技术对图像进行融合，消除缝合线的视觉影响。整个方法计算消耗小，可以达到实时处理的要求。

具体来说，本发明提出的全景视频实时拼接的方法通过以下步骤实现：

S101.对各摄像机进行配准，计算各相邻摄像机之间的查找表。

全景拼接视频摄像机的配准采用查找表的方法，配准过程是确定摄像机拍摄图像之间相对位置关系的过程，如图7。查找表的计算步骤主要包括：

（1）通过SIFT特征点检测与匹配，得到初始匹配特征点集合。尺度不变特征变换(Scale Invariant Feature Transform，SIFT)特征可以较好地应对大尺度变换带来的特征点检测不准确的问题，并且对于视角变化、噪声和光照变化等具有良好的鲁棒性，因此选择SIFT特征以高图像配准和图像拼接的准确性。

（2）利用RANSAC算法滤除误匹配点，获得最终匹配特征点集合。

（3）求解变换关系，获得查找表，并根据全景拼接图像的尺寸对查找表进行裁剪。

最终建立拼接图像点到源图像点的一一映射关系，即查找表。

S102.计算相邻摄像机图像的重叠区域以及各重叠区域的缝合线。

计算相邻视频帧的重叠区域以及缝合线的步骤主要包括：

（1）确定相邻摄像机图像的重叠区域

重叠区域的形状与摄像机安装角度以及摄像机之间的角度相关，固定摄像机之间相对位置之后，重叠区域也就固定，由于摄像机斜向下安装，视频帧之间的重叠区域不是规则的矩形，而是的梯形，如图7，I₁和I₂分别表示相邻摄像机形成的图像，Ω是I₁和I₂图像的重叠区域。

（2）计算各重叠区域的图像差异。

计算重叠区域的差异，这也是进行缝合线查找数据基础。图像之间的差异在Lab颜色模型下描述，Lab颜色模型是由亮度L和有关色彩的a,b三个要素组成。L表示亮度（Luminosity），a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。采用欧氏距离具体描述：

C＝||L_s-L_P||₂

经过计算，得到差异图像Ω。C表示计算得到的重叠区域差异矩阵。

（3）采用动态规划算法计算查找各重叠区域的缝合线。

计算得到差异矩阵之后采用动态规划算法计算查找缝合线。缝合线的计算，本质上就是要在步骤三中计算的差异矩阵中，找一条分界线，这条分界线所经过的位置的差异值之和最小。如图8所示，图中黑色分界线所经过的位置的差异值之和最小。因此可以将缝合线的计算抽象成在带权值的无向图中寻找最优路径的问题。

本发明采用动态规划的方法来计算最优缝合线。根据动态规划的递推关系：

E_i,j＝e_i,j+min(E_i-1,j-1,E_i-1,j,E_i-1,j+1)

其中E_i,j表示从起点到位置(i,j)的所经过的位置的差异值之代数和。e_i,j表示位置(i,j)处的差异值。

从重叠区域的上端起点开始，采用动态规划算法进行缝合线的查找计算，最终得到当前帧的缝合线。

S103.采用金字塔融合方法对图像进行融合。

查找到重叠区域中的最优缝合线之后，即确定了图像拼接过程中重叠区域中像素的选择，然后对视频相应图像进行拼接。为了消除视频拼接后，缝合线造成的视觉差异，本发明采用拉普拉斯与高斯金字塔算法对缝合线附近的图像进行滤波，消除由于亮度等因素所造成的视觉差异。

通过上述步骤对全景视频进行实时拼接之后，为了解决全景拼接视频摄像机与高速球联动问题，计算全景图像的像素点与高速球摄像机的旋转角度之间的映射关系，本发明提出一种用于所述超高分辨率全景高速球一体机系统的空间配准方法，包括以下步骤：

S201.建立全景拼接图像坐标系；

S202.将全景拼接图像平均分成若干个矩形区域；

S203.采样并计算采样点的映射关系；

S204.采用双线性插值方法计算非采样点映射关系。

具体步骤如下：

S201.建立全景拼接图像坐标系。

全景图像左上方顶点为坐标原点O，水平向右为X轴正向，竖直向下为Y轴正向；

S202.将全景拼接图像平均分成若干个矩形区域。

全景拼接图像的大小记为U_pano×V_pano，将全景拼接图像平均分成M×N个矩形区域，M是列数，N是行数，则每个矩形区域的大小为(U_pano/M)×(V_pano/N)。

具体实施时，可以根据全景拼接图像的大小来确定M和N的值，一般来说，满足1≤M≤10000，1≤N≤10000。

S203.采样并计算采样点的映射关系。

选取每个矩形区域四个顶点的像素点作为采样点，则得到(M+1)×(N+1)个采样点；对于每一个采样点P_i(x_i,y_i)，其中下标i表示采样点的序号，x_i,y_i分别表示该采样点的坐标，控制高速球摄像机转动到该采样点对应的实际目标点位置，并将该实际目标点位置调整到高速球图像的中心位置，记录此时高速球摄像机的旋转角度

表示偏航角，θ_i表示俯仰角；这样就得到了每个采样点对应的高速球摄像机旋转角度。

S204.采用双线性插值方法计算非采样点映射关系。

对于任意一个非采样点P(x,y)，先判断该非采样点所在矩形区域；再通过其所在矩形区域的四个采样点来计算该非采样点对应高速球摄像机的旋转角度

设对应的四个采样点分别为

求解

的具体公式为：

则：

${\mathrm{\θ}}^{\′}=\frac{x_2-x}{x_2-x_1}{\mathrm{\θ}}_1+\frac{x-x_1}{x_2-x_1}{\mathrm{\θ}}_2;$

${\mathrm{\θ}}^{\′\′}=\frac{x_2-x}{x_2-x_1}{\mathrm{\θ}}_3+\frac{x-x_1}{x_2-x_1}{\mathrm{\θ}}_4;$

则： $\mathrm{\θ}=\frac{y_2-y}{y_2-y_1}{\mathrm{\θ}}^{\′}+\frac{y-y_1}{y_2-y_1}{\mathrm{\θ}}^{\′\′};$

其中

θ'和θ''为计算过程中的中间变量。

在得到该非采样点P(x,y)对应的高速球旋转角度

后，控制调整高速球按照该角度

进行旋转，则可以得到用户感兴趣位置的高分辨率细节图像。

Claims (7)

1.一种超高分辨率全景高速球一体机系统，其特征在于：包括机座元件、全景拼接视频摄像机、高速球、控制器、壳体和支架；所述全景拼接视频摄像机包括多个均匀分布的摄像机，用于获取360度全景视频图像；所述机座元件为圆形，用于固定所述多个摄像机；所述高速球位于机座元件中心的下方，与所述全景拼接视频摄像机具有相同的安装轴；所述壳体安装在全景拼接视频摄像机与高速球的外部，所述支架设置在机座元件上方，用于与外部固定；相邻摄像机形成的图像之间重叠部分的宽度满足图像拼接的要求，并且所述摄像机的数量满足使所有摄像机有效图幅的水平边长对应的视角叠加后不小于360度；所述控制器用于接收所述多个摄像机的图像并完成拼接，并且通过空间配准实现全景拼接视频摄像机与高速球的配准联动。

2.根据权利要求1所述的超高分辨率全景高速球一体机系统，其特征在于：每个所述摄像机分别旋转90度后再固定安装，即每个摄像机有效图幅的水平边长小于其有效图幅的竖直边长；每个所述摄像机均采用CMOS或者CCD元件。

3.根据权利要求2所述的超高分辨率全景高速球一体机系统，其特征在于：每个所述摄像机均为1080P摄像机，共有14个，每个摄像机的视角为30度，每组相邻摄像机的重叠视角为5度；每个摄像机与水平轴的角度为30度。

4.一种用于权利要求1或2所述超高分辨率全景高速球一体机系统的视频实时拼接方法，其特征在于包括以下步骤：

S101.对各摄像机进行配准，计算各相邻摄像机之间的查找表；

S102.计算相邻摄像机图像的重叠区域以及各重叠区域的缝合线；

S103.采用金字塔融合方法对图像进行融合。

5.根据权利要求4所述的视频实时拼接方法，其特征在于所述步骤S101的具体方法为：

（1）通过SIFT特征点检测与匹配，得到初始匹配特征点集合；

（2）利用RANSAC算法滤除误匹配点，获得最终匹配特征点集合；

（3）根据所述最终匹配特征点集合求解变换关系，获得查找表，并根据全景拼接图像的尺寸对查找表进行裁剪。

6.根据权利要求4所述的视频实时拼接方法，其特征在于所述步骤S102的具体方法为：

（1）确定相邻摄像机图像的重叠区域；

（2）计算各重叠区域的图像差异；

（3）采用动态规划算法计算查找各重叠区域的缝合线。

7.一种用于权利要求1或2所述超高分辨率全景高速球一体机系统的空间配准方法，其特征在于包括以下步骤：

S201.建立全景拼接图像坐标系：全景拼接图像左上方顶点为坐标原点O，水平向右为X轴正向，竖直向下为Y轴正向；

S202.将全景拼接图像平均分成若干个矩形区域：全景拼接图像的大小记为U_pano×V_pano，将全景拼接图像平均分成M×N个矩形区域，M是列数，N是行数，则每个矩形区域的大小为(U_pano/M)×(V_pano/N)；

S203.采样并计算采样点的映射关系：选取每个矩形区域四个顶点位置像素点作为采样点，则得到(M+1)×(N+1)个采样点；对于每一个采样点P_i(x_i,y_i)，其中下标i表示采样点的序号，x_i,y_i分别表示该采样点的坐标，控制高速球转动到该采样点对应的实际目标点位置，使该实际目标点位置调整到高速球图像的中心位置，记录此时高速球的旋转角度 表示偏航角，θ_i表示俯仰角；这样就得到了每个采样点对应的高速球旋转角度；

S204.采用双线性插值方法计算非采样点映射关系：对于任意一个非采样点P(x,y)，先判断该非采样点所在矩形区域；再通过其所在矩形区域的四个采样点来计算该非采样点对应高速球摄像机的旋转角度

设对应的四个采样点分别为 求解的具体公式为：

则：

${\mathrm{\θ}}^{\′}=\frac{x_2-x}{x_2-x_1}{\mathrm{\θ}}_1+\frac{x-x_1}{x_2-x_1}{\mathrm{\θ}}_2;$

${\mathrm{\θ}}^{\′\′}=\frac{x_2-x}{x_2-x_1}{\mathrm{\θ}}_3+\frac{x-x_1}{x_2-x_1}{\mathrm{\θ}}_4;$

则： $\mathrm{\θ}=\frac{y_2-y}{y_2-y_1}{\mathrm{\θ}}^{\′}+\frac{y-y_1}{y_2-y_1}{\mathrm{\θ}}^{\′\′};$

其中

θ'和θ''为计算过程中的中间变量。

Images