CN116309071B - 一种全景图像无缝拼接方法 - Google Patents

Abstract

本发明提供一种全景图像无缝拼接方法，包括检测并提取图像的特征和关键点，还包括以下步骤：使用同光心的两个或多个摄像头得到多个图像，对多个图像进行特征检测，得到匹配的描述符；建立全景图像到平面图像格式映射矩阵，在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，对等距柱状投影格式进行曲线形的像素插值；拼接全景图像。本发明提出了一种全景图像无缝拼接方法，提出将等距柱状投影格式贴到球面，再投影到平面视图格式，建立全景图像到平面图像格式映射矩阵，然后在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，等距柱状投影格式进行曲线形的像素插值方法。

Description

一种全景图像无缝拼接方法

技术领域

本发明涉及数字图像处理的技术领域，特别是一种全景图像无缝拼接方法。

背景技术

目前全景相机的多个镜头之间，由于制作工艺差距，无法做到绝对的同心光，由于设备之间不同光心，当对距离镜头某一位置时，使用标定方法计算机得到特征点，使用该特征点得到透视变换矩阵的估计，该透视变换矩阵只针对于当前位置有效，导致不同光心时图像融合效果变差，因此本发明针对完成的透视变换映射图像，采用通过目标检测方法或者传统SIFT进行对目标图像进行特征匹配，然后对映射图像进行自动对准变换，使映射进行无缝对齐，提高图像融合质量。

部传统的方法是对映射后的目标图像等距柱状投影格式图像进行对齐，通过水平缩放的方法进行插值处理，这个处理方式只是对当前的像素在等距柱状投影格式(Equirectangular)进行处理，由于在边界处人、物等运动物体是以平面的方式进行。因此这种方式进行缩放导致边界无缝，另外一个位置会出现拼接效果差的情况。

申请号为CN110930305A的发明专利申请公开了一种基于空间坐标轴的全景图像的拼接方法，包括在3D模型空间内建立空间坐标轴，其中X轴代表左右方向，Y轴代表上下方向，Z轴代表前后方向，将获取到的图像分成若干个点，依据获取图像在3D模型空间内占据的位置，将X轴上的若干个点标注为X1、X2、X3至无穷，将Y轴上的若干个点标注为Y1、Y2、Y3至无穷，将Z轴上的若干个点标注为Z1、Z2、Z3至无穷；将3D模型空间内标注相同的点坐标进行融合，从而得到融合后初步重叠的图像；对得到的初步重叠图像进行修剪拼接，以三个坐标轴上第一个重叠的点坐标为修剪点，位于左侧的图像则修剪去修剪点右侧的所有图像，位于右侧的图像则修剪去修剪点左侧的所有图像，然后将三个独立的3D模型空间整合为一个3D模型空间，获得融合拼接后的全景图像。该方法的缺点是复杂度高，无法实施准确的校准，不能根据目标的拼接情况来调整原始的图像的差值方法。

发明内容

为了解决上述的技术问题，本发明提出了一种全景图像无缝拼接方法，提出将等距柱状投影格式贴到球面，再投影到平面视图格式，建立全景图像到平面图像格式映射矩阵，然后在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，等距柱状投影格式进行曲线形的像素插值方法。

本发明提供一种全景图像无缝拼接方法，包括检测并提取图像的特征和关键点，还包括以下步骤：

步骤1：使用同光心的两个或多个摄像头得到多个图像，对多个图像进行特征检测，得到匹配的描述符；

步骤2：建立全景图像到平面图像格式映射矩阵，在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，对等距柱状投影格式进行曲线形的像素插值；

步骤3：拼接全景图像。

优选的是，所述步骤2包括以下子步骤：

步骤21：根据所述描述符将全景图贴到球面，采用经纬展开法建立球面坐标系，x轴向右，y轴垂直向内，z轴向上；

步骤22：采用反向映射的方法，在球的南极点放置一张与南极点相切的平面；

步骤23：设定视场角FOV，设定要获取的局部平面图的大小，计算归一化焦距f；

步骤24：将局部视图上的坐标(u,v)转换到球面坐标系坐标(x,y,z)；

步骤25：将所述球面坐标系坐标(x,y,z)转换到球坐标(theta,fi)；

步骤26：根据所述球坐标(theta,fi)获取全景图的坐标(U,V)；

步骤27：完成指定位置拼接缝处映射。

在上述任一方案中优选的是，所述归一化焦距f的计算公式为焦距f＝(0.5*W)/tan(fov*0.5)，其中，W为相机的像素宽度，fov为视场角。

在上述任一方案中优选的是，所述球面坐标系坐标(x,y,z)的转换公式为

x＝u-W×0.5

y＝H×0.5-v

z＝f

其中，H为映射矩阵。

在上述任一方案中优选的是，所述球坐标(theta,fi)的转换公式为

theta＝acos(z/sqrt(x×x+y×y+z×z))

fi＝acos(x/sqrt(x×x+y×y))，y≥0

fi＝2×pi-fi y<0

其中，pi为圆周率。

在上述任一方案中优选的是，如果全境图的尺寸为(panoW,panoH)，则所述全境图的坐标(U,V)的计算公式为

U＝fi×panoW/(2×pi)

V＝theta×panoH/pi。

在上述任一方案中优选的是，所述步骤2还包括通过建立等距柱状投影格式映射到平面图像格式的坐标映射关系，使用曲线的像素插值处理法拼接图像。

在上述任一方案中优选的是，所述曲线的像素插值处理法包括根据坐标映射关系在等距柱状投影格式映射图像，根据曲线坐标关系，采用双线性插值，从周围四个点插值得到新的像素值。

在上述任一方案中优选的是，所述曲线的像素插值处理法还包括根据两个图像的位置差别，通过采用固定一个图像的方式对另外一个图像进行性能变换。

在上述任一方案中优选的是，图像在水平方向的偏移动是Δx，那么在水平方向进行线性放大Δx。

在上述任一方案中优选的是，图像在垂直方向的偏移动是Δy，那么在垂直方向进行线性放大Δy。

本发明提出了一种全景图像无缝拼接方法，能够根据人、物等运行物体的方向进行线性插值，另外当等距柱状投影格式进行360度显示也能够得到更好的无缝拼接效果。

附图说明

图1为按照本发明的全景图像无缝拼接方法的一优选实施例的流程图。

图2为按照本发明的全景图像无缝拼接方法的透视变换的一实施例的示意图。

图3为按照本发明的全景图像无缝拼接方法的一优选实施例的变换后待拼接示意图。

图4为按照本发明的全景图像无缝拼接方法的一优选实施例的全景示意图。

图5为按照本发明的全景图像无缝拼接方法的一优选实施例的部分区域平面示意图。

图6为按照本发明的全景图像无缝拼接方法的一优选实施例的两个相机原始投影到等距柱状投影格式示意图。

图7为按照本发明的全景图像无缝拼接方法的一优选实施例的等距柱状投影格式特征匹配点示意图。

图8为按照本发明的全景图像无缝拼接方法的一优选实施例的计算匹配点差距示意图。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的阐述。

实施例一

如图1所示，执行步骤100，检测并提取图像的特征和关键点。

执行步骤110，使用同光心的两个或多个摄像头得到多个图像，对多个图像进行特征检测，得到匹配的描述符。

执行步骤120，建立全景图像到平面图像格式映射矩阵，在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，对等距柱状投影格式进行曲线形的像素插值。包括以下子步骤：

执行步骤121，将全景图贴到球面，采用经纬展开法建立球面坐标系，x轴向右，y轴垂直向内，z轴向上；

执行步骤122，采用反向映射的方法，在球的南极点放置一张与南极点相切的平面；

执行步骤123，设定视场角FOV，设定要获取的局部平面图的大小，计算归一化焦距f，所述归一化焦距f的计算公式为焦距f＝(0.5*W)/tan(fov*0.5)，其中，W为相机的像素宽度，fov为视场角。

执行步骤124，将局部视图上的坐标(u,v)转换到球面坐标系坐标(x,y,z)，所述球面坐标系坐标(x,y,z)的转换公式为

x＝u-W×0.5

y＝H×0.5-v

z＝f

其中，H为映射矩阵。

执行步骤125，将所述球面坐标系坐标(x,y,z)转换到球坐标(theta,fi)，所述球坐标(theta,fi)的转换公式为

theta＝acos(z/sqrt(x×x+y×y+z×z))

fi＝acos(x/sqrt(x×x+y×y))，y≥0

fi＝2×pi-fi y<0

其中，pi为圆周率。

执行步骤126，根据所述球坐标(theta,fi)获取全景图的坐标(U,V)，如果全境图的尺寸为(panoW,panoH)，则所述全境图的坐标(U,V)的计算公式为

U＝fi×panoW/(2×pi)

V＝theta×panoH/pi。

执行步骤127，完成指定位置拼接缝处映射。

通过建立等距柱状投影格式映射到平面图像格式的坐标映射关系，使用曲线的像素插值处理法拼接图像。所述曲线的像素插值处理法包括根据坐标映射关系在等距柱状投影格式映射图像，根据曲线坐标关系，采用双线性插值，从周围四个点插值得到新的像素值。所述曲线的像素插值处理法还包括根据两个图像的位置差别，通过采用固定一个图像的方式对另外一个图像进行性能变换。图像在水平方向的偏移动是Δx，那么在水平方向进行线性放大Δx。图像在垂直方向的偏移动是Δy，那么在垂直方向进行线性放大Δy。

执行步骤130，拼接全景图像。

实施例二

本发明提出将等距柱状投影格式贴到球面，再投影到平面视图格式，建立全景图像到平面图像格式映射矩阵，然后在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，等距柱状投影格式进行曲线形的像素插值方法，本发明的优点，能够根据人、物等运行物体的方向进行线性插值，另外当等距柱状投影格式进行360度显示也能够得到更好的无缝拼接效果。

本发明针对视频拼接过程映射后的等距柱状投影格式采用特征点匹配方法，得到目标的匹配点。将根据配置采用线性插值方法解决两个图像拼接缝隙问题。

本发明建立等距柱状投影格式与投影平面图像之间的坐标映射关系，在平面图像上面的对像坐标位置像素之间采用线性插值方法，然后映射回等距柱状投影格式坐标，即实际在等距柱状投影格式坐标采用曲线插值方法。

本发明的技术方案如下：

以传统方法类似采用下面的步骤：

步骤一：检测并提取图像的特征和关键点；

步骤二：匹配两个图像之间的描述符；

步骤三：使用RANSAC算法使用我们匹配的特征向量估计单应矩阵；

步骤四：拼接图像。

在步骤三通过采用单应矩阵H后，我们需要将两个图像拼接在一起。这里我们采用透视变换，输入想要扭曲的图像，单应矩阵(H)，还有输出图像的形状。我们通过获取两个图像的宽度之和然后使用第二个图像的高度确定输出图像的导出形状。透视变换(Perspective Transformation)是将图片投影到一个新的视平面(Viewing Plane)，也称作投影映射(Projective Mapping)。透视变换如图2所示。

如图3所示的是经过变换后从鱼眼图像映射到等距柱状投影格式(Equirectangular)的两个待拼接。

传统方法是直接对这两个图像进行拼接融合，或者在此图的基础上进行相对位置的线性缩放，因此当拼接缝处有运动对象时，会产生缝隙。

因此本发明通过提出将等距柱状投影格式贴到球面，再投影到平面视图格式，建立全景图像到平面图像格式映射矩阵，然后在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，等距柱状投影格式进行曲线形的像素插值方法。

将等距柱状投影格式映射到平面图像格式。假设观察者在球内部贴着球面观看，只能看到球的一部分区域。不断转动这个球，就能看到这个球不同位置的局部区域图，使用如图4所示的全景图。

1.将全景图贴到球面，经纬展开法。建立球面坐标系，x轴向右，y轴垂直向内，z轴向上，符合右手坐标系。

2.仍然采用反向映射的方法，首先在球的南极点放置一张与南极点相切的平面(也就是我们要获取的局部平面图)。

3.设定视场角FOV，设定要获取的局部平面图的大小(W,H)。我们可以粗略计算出一个归一化的焦距f＝(0.5*W)/tan(fov*0.5)。

4.局部视图上的坐标(u,v)，转换到球面坐标系坐标为(x,y,z)：

其中x＝u-W*0.5,y＝H*0.5-v,z＝f

5.得到(x,y,z)后，再转换到球坐标(theta,fi)：

theta＝acos(z/sqrt(x*x+y*y+z*z))

fi＝acos(x/sqrt(x*x+y*y))if(y<0)fi＝2*pi-fi

6.得到球坐标后就可以获取全景图的坐标(U,V)，如果全景图的尺寸是(panoW,panoH)：

U＝fi*panoW/(2*pi)；

V＝theta*panoH/pi；

7.完成指定位置拼接缝处映射。

这样就获取了如图5所示的南极点一小片区域的平面图。将缝隙位置，当作需要观看的位置，只用转动球就行。也就是在第5步中，对x,y,z施加一个旋转矩阵R，得到新的X,Y,Z后再投影即可。

8.如图6、图7所示，通过建立等距柱状投影格式映射到平面图像格式的坐标映射关系，例如图像在平面图像格式上面是直线的像素点，通过映射，对应待拼接图像是曲线，我们的处理对应该在待拼接图像采用曲线的像素插值处理方法。

9.根据坐标映射关系在等距柱状投影格式映射图像，根据曲线坐标关系，采用双线性插值，从周围四个点插值得到新的像素值。

10.根据两个图像的位置差别，如图8所示，通过采用固定一个图像，另外一个图像进行性能变换。图像在水平方向的偏移动是Δx,那么在水平方向进行线性放大Δx。同量y也类似操作。

为了更好地理解本发明，以上结合本发明的具体实施例做了详细描述，但并非是对本发明的限制。凡是依据本发明的技术实质对以上实施例所做的任何简单修改，均仍属于本发明技术方案的范围。本说明书中每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (6)

1.一种全景图像无缝拼接方法，包括检测并提取图像的特征和关键点，其特征在于，还包括以下步骤：

步骤1：使用同光心的两个或多个摄像头得到多个图像，对多个图像进行特征检测，得到匹配的描述符；

步骤2：建立全景图像到平面图像格式映射矩阵，在平面视图格式根据像素差对齐进行线性变化，根据坐标映射关系，对等距柱状投影格式进行曲线形的像素插值；通过建立等距柱状投影格式映射到平面图像格式的坐标映射关系，使用曲线的像素插值处理法拼接图像；

所述曲线的像素插值处理法包括根据坐标映射关系在等距柱状投影格式映射图像，根据曲线坐标关系，采用双线性插值，从周围四个点插值得到新的像素值，根据两个图像的位置差别，通过采用固定一个图像的方式对另外一个图像进行性能变换；

所述步骤2包括以下子步骤：

步骤21：将全景图贴到球面，采用经纬展开法建立球面坐标系，x轴向右，y轴垂直向内，z轴向上；

步骤22：采用反向映射的方法，在球的南极点放置一张与南极点相切的平面；

步骤23：设定视场角FOV，设定要获取的局部平面图的大小，计算归一化焦距f；

步骤24：将局部视图上的坐标(u,v)转换到球面坐标系坐标(x,y,z)；

步骤25：将所述球面坐标系坐标(x,y,z)转换到球坐标(theta,fi)；

步骤26：根据所述球坐标(theta,fi)获取全景图的坐标(U,V)；

步骤27：根据坐标映射关系，在等距柱状投影格式坐标采用曲线插值方法完成指定位置拼接缝处映射；

步骤3：拼接全景图像。

2.如权利要求1所述的全景图像无缝拼接方法，其特征在于，所述归一化焦距f的计算公式为焦距f＝(0.5*W)/tan(fov*0.5)，其中，W为相机的像素宽度，fov为视场角。

3.如权利要求2所述的全景图像无缝拼接方法，其特征在于，所述球面坐标系坐标(x,y,z)的转换公式为

x＝u-W×0.5

y＝H×0.5-v

z＝f

其中，H为映射矩阵。

4.如权利要求3所述的全景图像无缝拼接方法，其特征在于，所述球坐标(theta,fi)的转换公式为

theta＝acos(z/sqrt(x×x+y×y+z×z))

fi＝acos(x/sqrt(x×x+y×y))，y≥0

fi＝2×pi-fi y<0

其中，pi为圆周率。

5.如权利要求4所述的全景图像无缝拼接方法，其特征在于，如果全景图的尺寸为(panoW,panoH)，则所述全景图的坐标(U,V)的计算公式为

U＝fi×panoW/(2×pi)

V＝theta×panoH/pi。

6.如权利要求5所述的全景图像无缝拼接方法，其特征在于，图像在水平方向的偏移动是Δx，那么在水平方向进行线性放大Δx。