CN109255754B - 一种大场景多相机图像拼接与真实展现的方法和系统 - Google Patents

Abstract

本发明公开一种大场景多相机图像拼接与真实展现的方法，包括设置多个摄像机，在任意相邻的两摄像机重叠视野内，设置多个棋盘格，其中任意三个棋盘格的中心点不共线；基于所述多个棋盘格的中心点坐标，依据射影不变量原理，进行射影变换计算；计算相同时间戳下，其中一个摄像机采集图像上的像素点在相邻摄像机采集图像上的对应像素点坐标；进行两图像对应像素点的拼接，获得全景图像；基于共点四直线斜率计算交比进行射影变换的方式，实现了大场景多相机图像的拼接和真实展现，图像拼接效率较现有技术提高一个数量级，且不受摄像机镜头内参数的影响，不受图像噪点的影响，拼接精度极高。拼接结果以实时视频的方式输出，更为实用且便于操作和应用。

Description

一种大场景多相机图像拼接与真实展现的方法和系统

技术领域

本发明涉及图像拼接技术领域，具体而言，是一种大场景多相机图像拼接与真实展现的方法和系统。

背景技术

光学成像过程中，大场景和高分辨率为一对矛盾体。由于摄像机视野的局限性，不可能一次拍出场景又大、画幅又宽、分辨率又高的图像，目前，为保证获取大场景下的高分辨率图像，一般采用图像拼接技术。

图像拼接技术把一组相互之间拥有部分重叠的图像进行拼接得到无缝的超大视角的全景拼接图，图像拼接的关键步骤是图像配准。图像配准将多幅图像进行对准，寻求图像之间的最优变换模型，估计最佳变换参数，然后根据估算出来的参数校准图像的空间位置，使多幅图像在空间位置上对齐，使多幅图像位于同一坐标系下。图像配准通过寻找最好的空间变换，使得待配准图像实现最佳对准。图像配准决定了图像间的空间变换关系，进而决定了图像拼接的准确性。图像配准算法归纳起来分为三类：基于图像灰度的方法、基于图像特征的方法、基于频域匹配的方法。

基于图像灰度的方法是最为传统和最为普遍的算法；该方法从待拼接图像的灰度值出发，对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其他数学方法计算其灰度值的差异，对此差异比较后再判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，这种算法的性能主要取决于相似性度量及搜索的选择上，因为基于图像灰度的匹配算法是基于像素的，所以计算量大，实时性不高。

基于图像特征法是提取图像边界、轮郭线和拐点等特征进行匹配，构造方程组，通过数值计算得到变换参数。基于图像特征的方法一般涉及大量的几何与图像形态学计算，计算量大且没有一般模型可遵循，需要针对不同的应用场合选择各自合适的特征。该方法的不足在于必须依赖于图像特征，一旦特征选取有误差，或者选取的特征之间匹配有误差，那么得到的结果也会有很大的误差。其次特征点对噪声和遮蔽十分敏感，就算有良好的特征点，也往往因为被噪声或遮蔽而无法计算对准。

基于频域匹配的方法利用互相关函数对两幅图像进行相似性度量，这种方法简单直观，但是很难处理图像间存在的小角度旋转和小缩放比例的情况，目前较为常用的是亚像素插值的方法，而且要搜索整个图像空间，计算代价高昂，实时性不高，对图像噪声也很敏感。

上述方法由于计算量大、实时性不高、对图像噪声比较敏感、拼接误差比较大，一般用于静态图像的低精度拼接，不适于实时视频图像的高精度拼接。

发明内容

本发明的目的是针对上述不足，提供一种大场景多相机图像拼接与真实展现的方法，以实现大场景多相机实时视频图像的高精度拼接，利于真实展现。

为了实现上述目的，本发明提供的一种大场景多相机图像拼接与真实展现的方法，包括

设置多个摄像机，在任意相邻的两摄像机重叠视野内，设置至少四个参照点，其中任意三个参照点不共线；本发明给出的实施例中，在任意相邻的两摄像机重叠视野内设置四个棋盘格，任意三个棋盘格的中心点不共线。

基于所述参照点坐标，依据射影不变量原理，进行射影变换计算；计算相同时间戳下，其中一个摄像机采集图像上的像素点在相邻摄像机采集图像上的对应像素点坐标；

进行两图像对应像素点的拼接，获得全景图像。

进一步的，上述的大场景多相机图像拼接与真实展现的方法中，还包括对摄像机采集图像的预处理：根据摄像机编号和时间戳对每帧图像进行编号，并进行分辨率调整和噪声滤波处理。

进一步的，上述的大场景多相机图像拼接与真实展现的方法中，任意相邻两台摄像机的视野部分重叠，视野重叠部分夹角大于45°小于135°。

进一步的，上述的大场景多相机图像拼接与真实展现的方法中，进行分辨率调整和噪声滤过处理时，通过下述公式处理：

其中，L_(X，Y)为坐标为(X，Y)点的亮度值；M为噪声滤波的Y向平滑点数量，并且M为偶数；N为噪声滤波的X向平滑点数量，并且N为偶数；W为原始图像的宽度；H为原始图像的高度；w为处理后图像的宽度；h为处理后图像的高度。m为噪声滤波的Y向平滑点数量的一半，即m＝M/2；n为为噪声滤波的X向平滑点数量的一半，即n＝N/2。

进一步的，上述的大场景多相机图像拼接与真实展现的方法中，进行射影变换计算包括：

对于相同时间戳下的任意两摄像机采集的图像，遍历其中一个图像中的像素点，根据每个像素点与四个棋盘格中心点形成直线的交比，以及另一图像中四个棋盘格中心点坐标，计算出所述其中一个图像中的像素点在所述另一个图像中对应的像素点坐标。

进一步的，上述的大场景多相机图像拼接与真实展现的方法中，在其中一个图像中，将四个棋盘格中心点依次编号为第1点、第2点、第3点、第4点，并任意选取一点作为第5点；以第5点为基点，有四条直线分别通过第1点、第2点、第3点、第4点；计算该通过第5点的四条直线的交比，作为第一个射影不变量C₁；然后，以第1点为基点，有四条直线分别通过第2点、第3点、第4点、第5点，计算该四条直线的交比，作为第二个射影不变量C2；则

上式中，Lmn表示通过m点和n点的直线，Kmn表示直线Lmn的斜率，第m点坐标为(Xm，Ym)，第n点坐标为(Xn，Yn)，m与n的值域为{1,2,3,4,5}得出上式。

进一步的，上述的大场景多相机图像拼接与真实展现的方法中，在相邻两个摄像机的每帧图像进行射影变换计算时，将待射影变换的图像平均切分为若干区块，同时对每个区块进行射影变换。

进一步的，上述的大场景多相机图像拼接与真实展现的方法中，相同时间戳下多台摄像机采集的一帧图像拼接时，从两侧同时分别向中间进行图像拼接。

进一步的，上述的大场景多相机图像拼接与真实展现的方法中，通过四向边界识别算法对获得的全景图像进行边缘锯齿识别。

进一步的，上述的大场景多相机图像拼接与真实展现的方法中，所述四向边界识别算法包括：

并行四个线程同时从拼接后图像的上、下、左、右对像素点进行扫描，当扫描到一整行或一整列像素点的灰度都大于指定灰度阈值，并且向内一整行或一整列像素点的灰度也都大于指定灰度阈值的时候认定扫描到无锯齿区域的边界；根据无锯齿区域的边界，裁剪掉边界外的无效像素，将边界内的像素作为最终的全景拼接图。

第二方面，本发明还提供了一种大场景多相机图像拼接与真实展现的系统，包括处理器和存储器，存储器中存储有程序，程序被处理器运行时执行步骤：

识别任意相邻的两摄像机重叠视野内的参照点坐标；其中重叠视野内的所述参照点设置至少四个，其中任意三个参照点不共线；

基于所述参照点坐标，依据射影不变量原理，进行射影变换计算；计算相同时间戳下，其中一个摄像机采集图像上的像素点在相邻摄像机采集图像上的对应像素点坐标；

进行两图像对应像素点的拼接，获得全景图像；

全景图像用于向显示设备输出以显示出来。

第三方面，本发明还提供了一种大场景多相机图像拼接与真实展现的装置，包括上述的系统，还包括多台摄像机、显示设备以及控制终端；所述多台摄像机多台摄像机、显示设备以及控制终端均通信连接所述处理器。

本发明提供的大场景多相机图像拼接与真实展现的方法与现有技术相比，具有如下有益效果：

基于共点四直线斜率计算交比进行射影变换的方式，实现了大场景多相机图像的拼接和真实展现，图像拼接效率较现有技术提高一个数量级，且不受摄像机镜头内参数的影响，不受图像噪点的影响，拼接精度极高。拼接结果以实时视频的方式输出，相比于图片拼接结果更为实用且便于操作和应用。

附图说明

图1为本发明大场景多相机图像拼接与真实展现的方法中的摄像机设置示意图；

图2是本发明视野重叠部分的两台摄像机图像射影变换示意图。

图中：

1-摄像机；2-图像处理机；3-PC机；4-显示屏。

具体实施方式

为便于本领域技术人员充分理解本发明的技术方案，下面结合具体实施例对本发明进行详细阐述。

一种大场景多相机图像拼接与真实展现的方法，包括：

如图1所示的，面向目标场景，设置n台摄像机1，并按照相邻关系依次编号为C1、C2、C3…Cn。任意相邻两台摄像机1的视野部分重叠，视野重叠部分夹角大于45°小于135°。各台摄像机通过通讯光缆与图像拼接服务器相连接，各台摄像机每显示屏或PC机通过网络与图像拼接服务器相连接。

在相邻两台摄像机1的重叠视野内，垂直于摄像头镜头的光轴设置四个棋盘格，其中任意三个棋盘格的中心点不共线。在相邻两台摄像机的采集的图像上分别自动识别四个棋盘格的中心点坐标。

各台摄像机1实时、连续地采集目标场景的图像，各台摄像机每隔60秒与图像处理机2(用于进行校时、图像拼接处理和图像转发的服务器)校对一次时间，保证各台摄像机的时间同步一致。每台摄像机1的每帧图像附带时间戳转发给图像处理机2。

图像处理机对每台摄像机发来的图像进行预处理，根据摄像机编号和时间戳对每帧图像进行编号，并进行分辨率调整和噪声滤波处理。

选取各台摄像机在相同时间戳下的一帧图像，摄像机C1、C2、C3…Cn的同样时间戳的图像分别命名为P1、P2、P3…Pn。

对相机采集到的原始图像分别进行上述分辨率调整和噪声滤过处理时，通过下述公式处理：

其中，L_(X，Y)为坐标为(X，Y)点的亮度值；M为噪声滤波的Y向平滑点数量，并且M为偶数；N为噪声滤波的X向平滑点数量，并且N为偶数；W为原始图像的宽度；H为原始图像的高度；w为处理后图像的宽度；h为处理后图像的高度；m为噪声滤波的Y向平滑点数量的一半，即m＝M/2；n为为噪声滤波的X向平滑点数量的一半，即n＝N/2。

图像预处理后，进行相邻摄像机采集图像的配准计算。本发明方法基于射影几何中的射影不变量理论，P1中四个棋盘格的中心点与任意一点形成四条直线的交比，与P2中四个棋盘格中心点与任意一点形成四条直线的交比相等。因此，本发明方法中，遍历P1中的像素点，根据每个像素点与四个棋盘格中心点形成直线的交比，以及P2中四个棋盘格中心点坐标，计算出P1中的像素点对应于P2中的像素点坐标，参考图2。

例如，根据图2中左幅图像中的任意一点5的坐标和过该点5与点1、点2、点3、点4形成的四条直线的交比，基于右幅图像中对应的点1’、点2’、点3’、点4’的坐标，解方程算出点5在右幅图像中的对应点5’的坐标。继而可计算出P1图像所有像素点对应P2图像中的像素点坐标，进行两图像中重叠区域中对应像素点的重合拼接。其他相邻两摄像机的图像拼接同理。

其中，进行上述两个图像的拼接计算时，涉及的两个射影不变量的计算包括步骤：

(1)在其中一个图像中，将四个棋盘格中心点依次编号为第1点、第2点、第3点、第4点，并任意选取一点作为第5点。以第5点为基点，有四条直线分别通过第1点、第2点、第3点、第4点；计算该通过第5点的四条直线的交比，作为第一个射影不变量C₁。然后，以第1点为基点，有四条直线分别通过第2点、第3点、第4点、第5点，计算该四条直线的交比，作为第二个射影不变量C₂。则表达式为

上式中，L_mn表示通过m点和n点的直线，K_mn表示直线L_mn的斜率，第m点坐标为(X_m，Y_m)，第n点坐标为(Xn，Yn)，m与n的值域为{1,2,3,4,5}。

(2)根据计算得出的两个射影不变量以及另一个图像中四个棋盘格中心点1’、2’、3’、4’的坐标，解方程得出上述第5点在另一幅图像中的对应像素点5’的坐标。

上式中，L_m’n’表示通过m’点和n’点的直线，K_m’n’表示直线L_m’n’的斜率，第m’点坐标为(X_m’，Y_m’)，第n’点坐标为(X_n’，Y_n’)，m’与n’的值域为{1,2,3,4,5}。

为提高处理效率，在相邻两个摄像机的每帧图像进行射影变换计算时，将待射影变换的图像平均切分为若干区块(d x d)，同时对每个区块进行射影变换。

本发明给出的实施例中，在相邻两个摄像机的每帧图像进行射影变换计算时，将待射影变换的图像平均切分为9个区块(3 x 3)，采用多线程处理技术同时对每个区块进行射影变换。

根据上述原理，从两侧同时分别向中间进行图像拼接以加倍提升多台摄像机的图像处理速度：从左侧开始，基于射影几何中的射影不变量理论，将P1射影拼接到P2，P2射影拼接到P3，依次进行。同理，从右侧开始，将Pn射影拼接到P_n-1，P_n-1射影拼接到P_n-2，依次进行。摄像机数量为奇数的情况下，n个图像最终全部射影到

上。摄像机数量为偶数的情况下，n个图像最终全部射影到

上。

n个图像全部射影后得到的拼接图像，上下左右边缘会有空白锯齿，采用兼顾精度和效率的四向边界识别算法快速准确地识别图像的锯齿边界，取锯齿边界内的像素点集合，并再次进行分辨率调整和噪声滤过处理，得到1帧由n台摄像机图像拼接的全景图像。

进一步的，本发明方法中，四向边界快速识别算法如下：

并行四个线程同时从拼接后图像的上、下、左、右对像素点进行扫描，当扫描到一整行或一整列像素点的灰度都大于指定灰度阈值，并且向内一整行或一整列像素点的灰度也都大于指定灰度阈值的时候认定扫描到无锯齿区域的边界。根据无锯齿区域的边界，裁剪掉边界外的无效像素，将边界内的像素作为最终的全景拼接图。经验证灰度阈值设置为30即可准确识别锯齿区域。四向边界快速识别算法比单向逐行逐列扫描算法要快4倍。

图像处理机2工作时与PC机3通信，由PC机3进行人工操作，获取图像处理机2内的数据信息以及发送指令至图像处理机2进行校时、图像拼接等操作；全景图像发送至显示屏4进行显示。

由此可见，借助于本发明的上述方法，基于共点四直线斜率计算交比进行射影变换的方式，实现了大场景多相机图像的拼接和真实展现，图像拼接效率较现有技术提高一个数量级，且不受摄像机镜头内参数的影响，不受图像噪点的影响，拼接精度极高。拼接结果以实时视频的方式输出，相比于图片拼接结果更为实用且便于操作和应用。

本发明还提供了一种大场景多相机图像拼接与真实展现的系统，包括处理器和存储器，存储器中存储有程序，程序被处理器运行时执行步骤：

识别任意相邻的两摄像机重叠视野内的四个棋盘格中心点坐标；其中任意三个棋盘格中心点不共线；

基于所述四个棋盘格中心点坐标，依据射影不变量原理，进行射影变换计算；计算相同时间戳下，其中一个摄像机采集图像上的像素点在相邻摄像机采集图像上的对应像素点坐标；

进行两图像对应像素点的拼接，获得全景图像。

获得的全景图像通过显示设备展现出来。

本发明系统用于实施上述大场景多相机图像拼接与真实展现的方法，故而在程序执行过程中，所述摄像机的设置方式参考上述方法中的描述；并且程序在运行时还执行：

对摄像机采集的原始图像的分辨率调整和噪声滤过处理，处理时表达式为：

其中，L_(X，Y)为坐标为(X，Y)点的亮度值；M为噪声滤波的Y向平滑点数量，并且M为偶数；N为噪声滤波的X向平滑点数量，并且N为偶数；W为原始图像的宽度；H为原始图像的高度；w为处理后图像的宽度；h为处理后图像的高度；m为噪声滤波的Y向平滑点数量的一半，即m＝M/2；n为为噪声滤波的X向平滑点数量的一半，即n＝N/2。

程序还执行：

图像预处理后，进行相邻摄像机采集图像的配准计算。基于射影几何中的射影不变量理论，计算相同时间戳下，其中一个摄像机采集图像上的像素点在相邻摄像机采集图像上的对应像素点坐标；例如：遍历P1中的像素点，根据每个像素点与四个棋盘格中心点形成直线的交比，以及P2中四个棋盘格中心点坐标，计算P1中的像素点对应于P2中的像素点坐标，继而计算出P1图像所有像素点对应P2图像中的像素点坐标，进行两图像中重叠区域中对应像素点的重合拼接。其他相邻两摄像机的图像拼接同理。

计算过程中涉及的射影不变量的计算请参考本发明提供的上述方法中的描述，此处不再赘述。并且程序在进行相邻两个摄像机的每帧图像的射影变换计算时，将待射影变换的图像平均切分为若干区块(d x d)，同时对每个区块进行射影变换。

程序还执行：拼接处理时，按照编号摄像机采集的图像，从两侧同时分别向中间进行图像拼接以加倍提升多台摄像机的图像处理速度。

程序还执行：通过四向边界识别算法快速准确地识别图像的锯齿边界，根据无锯齿区域的边界，裁剪掉边界外的无效像素，将边界内的像素作为最终的全景拼接图。具体四向边界识别算法参考本发明提供的上述方法中的相关描述。

本发明还提供了一种大场景多相机图像拼接与真实展现的装置，参考图1，包括本发明上述的大场景多相机图像拼接与真实展现的系统，还包括多台摄像机1、显示设备(如显示屏4)以及控制终端(如PC机3)；所述多台摄像机多台摄像机、显示设备以及控制终端均通信连接所述处理器(相当于本发明中图像处理机2)；其中多台摄像机中任意相邻两台摄像机具有部分重叠视野，视野重叠部分夹角大于45°小于135°。上述棋盘格设置在重叠视野中，便于处理器接收摄像机传输的图像信息进行棋盘格中心点坐标识别以及两图像对应像素点计算以及图像的拼接，获得全景图像；全景图像由处理器输出至显示设备(如显示屏)显示出来；所述控制终端为PC机，与所述处理器通信，接收/发送相关数据和/或指令，控制程序的运行以及图像显示等操作。

本文中应用了具体个例对发明构思进行了详细阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离该发明构思的前提下，所做的任何显而易见的修改、等同替换或其他改进，均应包含在本发明的保护范围之内。

Claims (6)

1.一种大场景多相机图像拼接与真实展现的方法，其特征在于：包括

设置多个摄像机，在任意相邻的两摄像机重叠视野内，设置至少四个参照点，其中任意三个参照点不共线；

基于所述参照点坐标，依据射影不变量原理，进行射影变换计算；计算相同时间戳下，其中一个摄像机采集图像上的像素点在相邻摄像机采集图像上的对应像素点坐标；

进行两图像对应像素点的拼接，获得全景图像；

所述方法还包括对摄像机采集图像的预处理：根据摄像机编号和时间戳对每帧图像进行编号，并进行分辨率调整和噪声滤波处理；

进行分辨率调整和噪声滤波处理时，通过下述公式处理：

其中，L_(X,Y)为坐标为(X，Y)点的亮度值；M为噪声滤波的Y向平滑点数量，并且M为偶数；N为噪声滤波的X向平滑点数量，并且N为偶数；W为原始图像的宽度；H为原始图像的高度；w为处理后图像的宽度；h为处理后图像的高度。

2.根据要求1所述的大场景多相机图像拼接与真实展现的方法，其特征在于：进行射影变换计算包括：

对于相同时间戳下的任意两相邻摄像机采集的图像，遍历其中一个图像中的像素点，根据每个像素点与参照点形成直线的交比，以及另一图像中参照点坐标，计算出所述其中一个图像中的像素点在所述另一个图像中对应的像素点坐标。

3.根据权利要求2所述的大场景多相机图像拼接与真实展现的方法，其特征在于：在其中一个图像中，将四个棋盘格中心点依次编号为第1点、第2点、第3点、第4点，并任意选取一点作为第5点；以第5点为基点，有四条直线分别通过第1点、第2点、第3点、第4点；计算该通过第5点的四条直线的交比，作为第一个射影不变量C1；然后，以第1点为基点，有四条直线分别通过第2点、第3点、第4点、第5点，计算该四条直线的交比，作为第二个射影不变量C2；则

上式中，Lmn表示通过m点和n点的直线，Kmn表示直线L_mn的斜率，第m点坐标为(X_m，Y_m)，第n点坐标为(Xn，Yn)，m与n的值域为{1,2,3,4,5}得出上式。

4.根据权利要求3所述的大场景多相机图像拼接与真实展现的方法，其特征在于：相同时间戳下多台摄像机采集的图像拼接时，从两侧同时分别向中间进行图像拼接。

5.根据权利要求3所述的大场景多相机图像拼接与真实展现的方法，其特征在于：通过四向边界识别算法对获得的全景图像进行边缘锯齿识别。

6.根据权利要求5所述的大场景多相机图像拼接与真实展现的方法，其特征在于：所述四向边界识别算法包括：

并行四个线程同时从拼接后图像的上、下、左、右对像素点进行扫描，当扫描到一整行或一整列像素点的灰度都大于指定灰度阈值，并且向内一整行或一整列像素点的灰度也都大于指定灰度阈值的时候认定扫描到无锯齿区域的边界；根据无锯齿区域的边界，裁剪掉边界外的无效像素，将边界内的像素作为最终的全景拼接图。

Images