CN104463778A - 一种全景图生成方法 - Google Patents

Abstract

一种全景图生成方法，步骤为：(1)针对同一区域，获得基准图像和待配准图像；(2)对于两幅图像分别形成像素特征值序列；(3)分别选取两个序列中的前M个像素点作为特征点；(4)针对两组特征点进行特征匹配，得到匹配点对序列；(5)利用匹配点对序列，构建仿射映射关系，得到变换后待配准图像；(6)对两幅图像的共有区域进行融合，得到针对同一区域的球面全景图；(7)将球面全景图从球面坐标系变换到展开后的平面坐标系，生成全景图。本发明方法整体流程简单、速度快，在镜头俯仰角度未知、旋转角度未知的情况下可完成高精度、畸变小的全景图生成，并可将全景图从球面转换到平面，方便用户观看。

Description

一种全景图生成方法

技术领域

本发明涉及一种图像处理方法。

背景技术

采用单一镜头对周围环境拍照，受视场大小限制，难以反映周围全景概况。针对这种情况，需要对周围场景的若干幅图像进行拼接，形成周围的全景图像，方便用户感知周围地形地貌或场景的概况。对汽车等用户而言，基于该技术的多摄像头记录仪可以对汽车周围360度全景无缝监控。对于月球车而言，周围全景图变得尤为重要，可以指导月球车的行走，避免驶入月球坑及撞上岩石。对普通家庭用户而言，采用多摄像头配合使用，可以对家庭实现360度全景无缝监控。由于生成的图像为周围全景图像，在计算机、电视等媒介上回放时无需传统的多个显示窗口，拼接后的视频内容在同一个窗口内拼接后回放，具有观看简洁、清晰、震撼的效果。

传统方法使用特征点邻域灰度互相关法进行特征点匹配，运用优化算法估计图像间的点变换关系，最后采用颜色插值对交接处进行颜色过渡来形成全景图。例如2004年第9期《中国图像图形学报》上的文献“一种全自动稳健的图像拼接融合算法”使用了LM优化算法估计图像间的点变换关系；2013年第5期《计算机辅助设计与图形学学报》上的文献“基于旋转采集Data Matrix码序列图像拼接方法”使用了对拼接区域分块、对不同块区域进行颜色融合的方法。这些方法的不足之处在于计算复杂，难以满足实时性的要求；其次方法仅考虑了摄像角度水平情况下的拼接，此种情况的拼接为柱面拼接，相对只有一个平移量，比较简单，对于镜头存在俯仰等情况，拼接出来的图像为球面图像，需要将球面图像转换到柱面图像，以进行更客观的展示。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供了一种拼接精度高、图像畸变小、重叠区域柔和过渡、拼接速度快的全景图生成方法，针对镜头任何角度的俯仰和旋转、不同视角的不同曝光，均能完成全景图的生成，对拼接过渡区域能柔和展现，适用于月球车、汽车记录仪、家用监控等图像处理领域。

本发明的技术解决方案是：一种全景图生成方法，包括如下步骤：

(1)针对同一区域，采用同一相机以不同的角度先后获取两幅图像，其中一幅为基准图像，另一幅为待配准图像；所述的基准图像和待配准图像中存在部分重叠的影像，称为共有区域；

(2)对于基准图像，分别计算每一个像素点和其附近的N个像素点之间的灰度值差值，将计算得到的针对同一像素点的N个灰度差值求和作为该像素点的特征值，将所有像素点按照特征值由大到小的顺序进行排序，形成基准图像像素特征值序列；对于待配准图像，执行相同的操作，形成待配准图像像素特征值序列，其中N为不小于5的正整数；

(3)在基准图像像素特征值序列中选择前M个像素点作为基准图像特征点，在待配准图像像素特征值序列中选择前M个像素点作为待配准图像特征点，M为不小于500的正整数；

(4)选取一个基准图像特征点，然后选取与该基准图像特征点的特征值最接近和次接近的两个待配准图像特征点，如果特征值最接近的待配准图像特征点的特征值D_FirMin与次接近的待配准图像特征点的特征值D_SecMin的比值不大于预先设定的匹配阈值，则将选取的基准图像特征点与特征值最接近的待配准图像特征点作为一个匹配点对；遍历所有的基准图像特征点，执行同样的操作，形成匹配点对序列；

(5)利用步骤(4)得到的匹配点对序列，构建仿射映射关系，通过构建的仿射映射关系，得到基准图像与待配准图像的共有区域及两幅图像之间的图像变换关系；

(6)对两幅图像的共有区域进行拼接融合，融合后共有区域的每个像素点的像素值为：

(7)重复步骤(1)～(6)，直到拼接融合完针对同一区域的所有图像，由此得到针对同一区域的球面全景图；

(8)将所述球面全景图从球面坐标系变换到展开后的平面坐标系，生成全景图，其中变换公式为：

$x^{\′}=R\×\arctan \frac{x}{R\cos \mathrm{\α}-y\sin \mathrm{\α}},$ $y^{\′}=R\×\arctan \frac{R\sin \mathrm{\α}+y\cos \mathrm{\α}}{\sqrt{x^2+{(R\cos \mathrm{\α}-y\sin \mathrm{\α})}^2}}$

其中x′，y′为平面坐标系下像素点的坐标，x、y为球面图像坐标系下像素点的坐标，α为相机镜头的俯仰角，R为像素点对应的目标点到相机镜头的距离。

所述N的取值为8。所述M的取值为500。所述的匹配阈值范围为1.2～4。

本发明与现有技术相比的优点在于：

(1)本发明方法整体流程简单、速度快，在镜头俯仰角度未知、旋转角度未知的情况下可完成高精度、畸变小的全景图生成，并可将全景图从球面转换到柱面，方便用户观看；

(2)本发明方法利用每一个像素点和其附近的N个像素点之间的灰度值差值作为该像素点的特征值，将图像中所有像素点按照特征值由大到小的顺序进行排序，加快了特征匹配速度，便于快速识别特征点；

(3)本发明方法在基准图像中选择排在前面M个像素点作为基准图像特征点，在待配准图像中选择排在前面M个像素点作为基准图像特征点，选择最有代表性的特征进行配对，可以提高图像拼接的精确性；

(4)本发明方法在确定匹配点对时，选取一个基准图像特征点并与特征值最接近和次接近的两个待配准图像特征点的特征值进行比较，确定匹配点对，由此保证两幅图像的匹配精度；

(5)本发明使用了图像融合去曝光的方法，针对因图像拍摄角度不同、曝光程度不同所造成的曝光痕迹，对图像重叠区域进行了像素融合处理，得到拼接融合后的图像，可以使得重叠区域柔和过渡；

(6)本发明方法无需知道镜头的俯仰角度值，可通过自标定系数求解的方式，根据图像自动完成图像的俯仰角度及不同镜头间夹角的计算，而后完成球面图像到柱面图像转换，避免了镜头存在俯仰角度时拼接出来的图像为球面图所造成的物体变形，提高了主观观看效果。

附图说明

图1为本发明方法的流程图。

具体实施方式

如图1所示，为本发明方法的流程图，以下对各步骤进行详细的说明：

(1)将相机固定在桅杆上旋转，采用不同的角度先后获取两幅图像，其中一幅为基准图像，另一幅为待配准图像，所述的基准图像和待配准图像中存在部分重叠的影像，称为共有区域；

(2)采取强鲁棒性的特征提取算法提取图像中的特征。遍历两幅图像中的所有像素，每个像素值和周围相邻的N个像素的灰度值进行比较计算(计算灰度差值)，对于每一幅图像，将每个像素点与周围像素点灰度比较的计算结果按照大小进行排序。N通常取不小于5的正整数，在本方案中取8。

(3)设定特征值阈值M，在步骤(2)得到的基准图像排序中选择排在前面M个像素点作为基准图像特征点，在待配准图像排序中选择排在前面M个像素点作为待配准图像特征点。M通常取不小于500的正整数，在本方案中，M为500；

(4)先取一个基准图像特征点，然后待配准图像特征点中找出与该点的特征值最近和次近的两个特征点，设它们之间的特征值分别为D_FirMin和D_SecMin，若两个特征值之间的比小于或等于一定的阈值MT，就将基准图像中的特征点与待匹配图像中距离最小的特征点作为匹配点对。MT取值范围为1.2～4。

$\frac{D_{\mathrm{FirMin}}}{D_{\mathrm{SecMin}}}\≤\mathrm{MT}---\left(1\right)$

如果无法满足上式，则认为该基准图像特征点无法找到与之对应的待配准图像上的特征点，因此也就不存在与该基准图像特征点相对应的匹配点对。

(5)利用步骤(4)得到的匹配点对序列，构建仿射映射关系，通过构建的仿射映射关系，将待配准图像上的全部像素点进行仿射变换，得到基准图像与待配准图像的相对平移及旋转矩阵，同时得到基准图像与待配准图像的共有区域；

(6)进行拼接区域(共有区域)的融合，对拼接区域中的每个像素值，可以取值为：

该公式保证了基准图像与待配准图像共有区域的图像像素是由基准图像与待配准图像按一定比例融合而成。如果靠近共有区域的左侧，则该像素的取值中，基准图像占的比例大；如果靠近共有区域的右侧，则该像素的取值中，待配准图像占的比例大，保证了图像的柔和过渡。基准图像在左侧，待配准图像在右侧。

(7)重复步骤(1)～(6)，将同一区域的多幅不同角度的图像进行拼接，直到拼接完所有图像，由此得到同一区域的球面全景图。

(8)因为镜头有俯仰角度，拍摄的图像为球面图像，图像拼接完成后，图像为球面。为了生成展开后平面图像，需要进行坐标系的变换。

此处分两步进行，第一次从球面坐标系变换到球体坐标系，第二次从球体坐标系变换到展开后平面坐标系。

假设x、y为球面坐标系下图像像素点的坐标，α，β为镜头的俯仰角和水平角，R为成像目标(特征点在成像目标中提取)到镜头的距离(比如图像中月壤到镜头的距离)，x_w，y_w，z_w为球体坐标系下像素点的坐标，则从球面坐标系到球体坐标系转换方式为:

$\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\β}& 0& -\sin \mathrm{\β}\\ 0& 1& 0\\ \sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& \sin \mathrm{\α}\\ 0& -\sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right)\left(\begin{array}{c}x\\ y\\ R\end{array}\right)---\left(2\right)$

球体坐标系到展开平面坐标转化方式为:

x′＝R×long   (3)

y′＝R×lat   (4)

其中long为经度、lat为维度，可分别由式(5)、式(6)获得:

long＝arctan(x_w/z_w)   (5)

$\mathrm{lat}=\arctan (y_w/\sqrt{x_w^2+z_w^2})---\left(6\right)$

综合两次转换，球面图像到展开后平面图像的坐标转换方式为:

$x^{\′}=R\×\arctan \frac{x}{R\cos \mathrm{\α}y\sin \mathrm{\α}}---\left(7\right)$

$y^{\′}=R\×\arctan \frac{R\sin \mathrm{\α}+y\cos \mathrm{\α}}{\sqrt{x^2+{(R\cos \mathrm{\α}-y\sin \mathrm{\α})}^2}}---\left(8\right)$

其中，x′，y′为平面坐标系下像素点的坐标。上述转换关系可以通过球面三角形计算得到。

在展开平面图像中，最下面一行y和y′基本相同，将多个y和y′的实际值代入公式(8)中，可以确定R和α值，随后可以依据式(7)和式(8)进行展开平面坐标图像的计算。

本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (4)

1.一种全景图生成方法，其特征在于包括如下步骤：

(1)针对同一区域，采用同一相机以不同的角度先后获取两幅图像，其中一幅为基准图像，另一幅为待配准图像；所述的基准图像和待配准图像中存在部分重叠的影像，称为共有区域；

(2)对于基准图像，分别计算每一个像素点和其附近的N个像素点之间的灰度值差值，将计算得到的针对同一像素点的N个灰度差值求和作为该像素点的特征值，将所有像素点按照特征值由大到小的顺序进行排序，形成基准图像像素特征值序列；对于待配准图像，执行相同的操作，形成待配准图像像素特征值序列，其中N为不小于5的正整数；

(3)在基准图像像素特征值序列中选择前M个像素点作为基准图像特征点，在待配准图像像素特征值序列中选择前M个像素点作为待配准图像特征点，M为不小于500的正整数；

(4)选取一个基准图像特征点，然后选取与该基准图像特征点的特征值最接近和次接近的两个待配准图像特征点，如果特征值最接近的待配准图像特征点的特征值D_FirMin与次接近的待配准图像特征点的特征值D_SecMin的比值不大于预先设定的匹配阈值，则将选取的基准图像特征点与特征值最接近的待配准图像特征点作为一个匹配点对；遍历所有的基准图像特征点，执行同样的操作，形成匹配点对序列；

(5)利用步骤(4)得到的匹配点对序列，构建仿射映射关系，通过构建的仿射映射关系，得到基准图像与待配准图像的共有区域及两幅图像之间的图像变换关系；

(6)对两幅图像的共有区域进行拼接融合，融合后共有区域的每个像素点的像素值为：

(7)重复步骤(1)～(6)，直到拼接融合完针对同一区域的所有图像，由此得到针对同一区域的球面全景图；

(8)将所述球面全景图从球面坐标系变换到展开后的平面坐标系，生成全景图，其中变换公式为：

$x^{\′}=R\×\arctan \frac{x}{R\cos \mathrm{\α}-y\sin \mathrm{\α}},y^{\′}=R\×\arctan \frac{R\sin \mathrm{\α}+y\cos \mathrm{\α}}{\sqrt{x^2+{(R\cos \mathrm{\α}-y\sin \mathrm{\α})}^2}}$

其中x′，y′为平面坐标系下像素点的坐标，x、y为球面图像坐标系下像素点的坐标，α为相机镜头的俯仰角，R为像素点对应的目标点到相机镜头的距离。

2.根据权利要求1所述的一种全景图生成方法，其特征在于：所述N的取值为8。

3.根据权利要求1所述的一种全景图生成方法，其特征在于：所述M的取值为500。

4.根据权利要求1所述的一种全景图生成方法，其特征在于：所述的匹配阈值范围为1.2～4。