CN109544455A - 一种超长高清实景长卷无缝融合方法 - Google Patents

Abstract

本发明公开了一种超长高清实景长卷无缝融合方法，其特征在于，包括以下步骤：S1：采集单点实景图像及地理坐标，并拼接生成单点实景全景图像；S2：单点实景全景图像拼接生成超长高清实景长卷，并修正重叠区域；S3：通过对超长高清实景长卷进行分段处理，提高图像的存储能力和处理速度；S4：建立超长高清实景长卷的坐标体系，统一图像坐标和地理坐标；S5：构建超长高清实景长卷的金字塔模型，提高加载效率。本发明用于将拍摄的实景图像拼接生成超长高清实景长卷，并进行分段处理，提高了图像的处理、存储能力；统一长卷的图像坐标和地理坐标的关联性，有利于快速、精准地识别长卷中地物的位置和信息。

Description

一种超长高清实景长卷无缝融合方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种超长高清实景长卷无缝融合方法。

背景技术

三维全景技术是目前迅速发展并逐步流行的一种虚拟现实技术，可广泛应用于网络三维服务。三维全景融合了全景技术与地理信息技术，以一种完全真实的方式展现空间信息。在全景影像表达的世界里，包含大量地理的、环境的、经济的、社会的、人文的信息以及可供挖掘的知识，有强烈的立体感和沉浸感，能给人以身临其境的感觉。

目前国内外已有的全景服务有谷歌街景、微软街景、腾讯街景，另外，国内的城市吧，爱尚重庆等也提供部分城市的街景服务。全景技术进入发展的黄金期，以街景为代表的应用产品，发展前景有着很大的想象空间。

但国内外现有的全景服务大多适用于近距离拍摄；图像数据量大，在进行拼接后，会造成图像扭曲变形，不利于图像的保存和加载；图像中的物体坐标和地理坐标不能很好地统一，给应用带来不便。

发明内容

针对现有技术中近距离全景拍摄、图像加载慢以及地理坐标不精准的问题，本发明提供一种超长高清实景长卷无缝融合方法，用于将不同拍摄位置拍摄的实景图像拼接生成超长高清实景长卷，提高图像的加载速度以及地理坐标的精准度。

为了实现上述目的，本发明提供以下技术方案：

一种超长高清实景长卷无缝融合方法，其特征在于，包括以下步骤：

S1：采集单点实景图像及地理坐标，并拼接生成单点实景全景图像；

S2：单点实景全景图像拼接生成超长高清实景长卷，并修正重叠区域；

S3：通过对超长高清实景长卷进行分段处理，提高图像的存储能力和处理速度；

S4：建立超长高清实景长卷的坐标体系，统一图像坐标和地理坐标；

S5：构建超长高清实景长卷的金字塔模型，提高加载效率。

优选的，所述S1中，包括以下步骤：

S1-1:采集单点实景图像及地理坐标：

在m个拍摄位置分别拍摄n张实景图像，m≥2,n≥2,m、n为正整数，且同一拍摄位置拍摄的相邻实景图像之间具有第一重叠区域，相邻拍摄位置拍摄的实景图像之间具有第二重叠区域；同时测量实景图像中至少两个像素点对应的地理坐标；

S1-2:拼接生成单点实景全景图像：

将m个拍摄位置拍摄的n张实景图像分别拼接生成m个单点实景全景图像。

优选的，所述第一重叠区域的范围为30％～60％，第二重叠区域的范围为30％～60％。

优选的，所述S2中，包括以下步骤：

S2-1：拼接生成超长高清实景长卷：

将m个单点全景图像拼接生成超长高清实景长卷；

S2-2：修正重叠区域：

搜索第一单点实景全景图像和第二单点实景全景图像的第二重叠区域中同景深的特征地物，找出至少3个特征地物作为拼接目标；以第一单点实景全景图像为基础，以找到的拼接目标为控制对象，对第二单点实景全景图像进行图形变换，直到拼接目标完全重叠；对第二重叠区域进行拼接处理，修正单点实景全景图像中地物的位置。

优选的，所述S3中，采用大小为W×H的分段图像对大小为D×H的超长高清实景长卷进行分段，从而得到t个实景长卷子图像，W表示分段图像的宽度，D表示超长高清实景长卷的宽度，H表示分段图像和超长高清实景长卷的高度，且W＜D，表示对的值进行向上取整。

优选的，所述S4包括以下步骤：

S4-1：建立实景长卷子图像的坐标体系：

X(c_n，r_n)＝F(Lat_n，Lng_n) (1)

公式(1)中，X(c_n，r_n)表示实景长卷子图像中第n像素点的图像坐标，其中，r表示像素点在实景长卷子图像中的高度，c表示像素点在实景长卷子图像中的宽度，(Lat_n，Lng_n)表示第n像素点对应的地理坐标，Lat表示纬度，Lng表示经度，F表示线性或非线性插值函数；

S4-2：建立超长高清实景长卷的坐标体系：

S_Zt+X_Zt(c_n，r_n)＝F(Lat_n，Lng_n) (2)

公式(2)中，X_Zt(c_n，r_n)表示第t段实景长卷子图像Zt中第n像素点的图像坐标，S_Zt＝W×(t-1)，S_Zt表示Zt在超长高清实景长卷中的起算坐标。

优选的，所述S5中，所述超长高清实景长卷金字塔模型构建方法如下：

对大小为D×H的超长高清实景长卷进行切片得到切片图像，切片图像大小为d×d，将所得的全部切片图像作为构建的实景全景图像金子塔模型的最大层级，即第G层,G≥2且为正整数，D表示超长高清实景长卷的宽度，H表示超长高清实景长卷的高度，d表示切片图像的宽度和高度；

第G-1层的第i行，第j列的切片图像是由第G层的(2*i,2*j)、(2*i,2*j+1)、(2*i+1,2*j)、(2*i+1,2*j+1)四张切片图像组成，i,j为整数，R_G表示第G层切片图像的行数，C_G表示第G层切片图像的列数，表示对的值进行向上取整,表示对的值进行向上取整。

综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

1.本发明可将400公里的实景图像拼接生成超长高清实景长卷，具有更广的视域。

2.本发明通过对超长高清实景长卷进行分段处理，降低了图像处理工具的硬件需求，提高了图像的处理和存储能力。

3.本发明统一超长高清实景长卷的图像坐标和地理坐标的关联性，有利于快速、精准地识别长卷中地物的位置和信息。

4.本发明提高了超长高清实景长卷的加载速度，有利于用户的查询。

附图说明：

图1为根据本发明示例性实施例的一种超长高清实景长卷无缝融合方法流程示意图。

图2为根据本发明示例性实施例的单点实景全景图像拼接示意图。

图3为根据本发明示例性实施例的不同拍摄位置的单点实景全景图像拼接示意图。

图4为根据本发明示例性实施例的实景长卷子图像坐标体系示意图。

图5为根据本发明示例性实施例的超长高清实景长卷金字塔模型示意图。

具体实施方式

下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

图1为本发明示例性的一种超长高清实景长卷无缝融合方法实施例，具体包括以下步骤：

S1：采集单点实景图像及地理坐标，并拼接生成单点实景全景图像。

本实施例中，拍摄者位于拍摄位置，拍摄时将相机水平安装在云台上，使用定焦全画幅镜头，对实景进行拍摄，同时利用RTK(Real-time kinematic,实时动态)载波相位差分技术获取图像中至少两个像素点的地理坐标。

S1-1:采集单点实景图像及地理坐标。

本实施例中，拍摄者应选择正对实景、且无明显遮挡物的拍摄位置，即第一拍摄位置；拍摄者在第一拍摄位置按照顺序(顺时针或逆时针)旋转相机对实景进行水平拍摄，拍摄的实景图像集合为{P1，P2，…，Pn}，其中n≥2且为正整数，Pn表示拍摄的第n张实景图像；拍摄的相邻实景图像之间(例如P1与P2)具有第一重叠区域1，以便进行图像识别从而进行图像拼接，重叠区域的范围优选为30％～60％。

本实施例中，单点拍摄位置采集的实景图像范围较小，因此本发明通过在不同的拍摄位置对实景进行拍摄，保证实景图像数据采集的完整性，例如相邻拍摄位置之间的距离为100米；本实施例中拍摄位置的集合{A1，A2，…，Am}，Am表示第m个拍摄位置，其中m≥2且为正整数；相邻两个拍摄位置之间的高度差不大于2米，以便将拍摄的图像统一到同一水平面。本实施例中，拍摄者在相邻拍摄位置的图像之间也需具有第二重叠区域2，例如第二拍摄位置A2拍摄的第一张图像与第一拍摄位置A1拍摄的最后一张图像具有第二重叠区域2，重叠区域的范围为30％～60％。

本实施例中，拍摄者选择的拍摄位置有桥梁时，应将拍摄位置选定在桥梁的正下方，使桥梁在拍摄图像中所占比例较少，避免遮挡实景。本实施例中，拍摄者在拍摄图像后，还利用RTK(Real-time kinematic,实时动态)载波相位差分技术选择该图像中至少两个像素点作为目标进行测量从而获取对应的地理坐标。

S1-2：拼接生成单点实景全景图像。

图2为本实施例单点实景全景图像拼接示意图。本实施例中，单点拍摄的实景图像集合为{P1，P2，…，Pn-1，Pn}，相邻实景图像之间具有第一重叠区域1，第一重叠区域1的范围为30％～60％。本发明采用图像处理工具(例如PTGUI)将单点拍摄的实景图像拼接生成相对应的单点实景全景图像，例如第一拍摄位置A1拍摄的所有实景图像进行拼接，生成第一单点实景全景图像B1。

S2:单点实景全景图像拼接生成超长高清实景长卷，并修正重叠区域。

S2-1：拼接生成超长高清实景长卷。

图3为本实施例不同拍摄位置的单点实景全景图像拼接示意图。本发明将不同拍摄位置所拼接的单点实景前景图像拼接生成超长高清实景长卷(可展现400公里的图像，其分辨率为72dpi)，其集合B为{B1，B2，…，Bm-1，Bm}，Bm表示第m个单点实景全景图像。相邻的单点实景全景图像之间具有第二重叠区域2，第二重叠区域2的范围优选为30％～60％。

本实施例中，本发明在对实景图像进行拼接时，应对第一重叠区域1和第二重叠区域2的重复图像进行处理，保证拼接图像接缝平滑，无色差，并且不能遗漏和重复要素。例如第一单点实景全景图像B1与第二单点实景全景图像B2之间的第二重叠区域2为同一桥梁，B1中桥梁遮挡实景的面积小于B2中桥梁遮挡实景的面积，应保留B1中的桥梁，利用图像处理工具删除B2中的桥梁，然后再将B1和B2进行拼接，保证桥梁结构清晰，无重叠，少遮挡。

S2-2：修正重叠区域。

本实施例中，拍摄者在第一拍摄位置A1拍摄拼接的第一单点实景全景图像B1和第二拍摄位置A2拍摄拼接的第二单点实景全景图像B2之间因拍摄位置和角度的不同从而造成同一地物在B1和B2中位置不同，因此需要通过匹配同景深特征地物的方式来修正图像中地物的位置关系，使得实景全景图像平滑自然：

搜索相邻单点实景全景图像第二重叠区域2中同景深的特征地物，找出至少3个拼接目标；

以第一单点实景全景图像为基础，以找到的拼接目标为控制对象，对第二单点实景全景图像进行图形变换，直到匹配目标完全重叠；

最后对第二重叠区域2进行拼接处理，调整图像中各地物的位置。

S3：通过对超长高清实景长卷进行分段处理，提高图像的存储能力和处理速度。

本实施例中，超长高清实景长卷数据量巨大，为便于图像的存储、降低数据处理的复杂度、提高数据处理的速度，本发明对其进行分段处理。

本实施例中，拼接生成的超长高清实景长卷B的大小为D×H，D表示B的宽度，H表示B的高度；按照宽度W(W＜D)，高度为H分段图像的比例将超长高清实景长卷B分成t段实景长卷子图像Z＝{Z1，Z2，…，Zt-1，Zt}，其中，Zt表示第t段实景长卷子图像，表示对的值进行向上取整；当超长高清实景长卷B被切割成t-1段实景长卷子图像后，若第t段实景长卷子图像Zt的宽度W_t小于W，则W_t＝D-W×(t-1)。

S4：建立超长高清实景长卷的坐标体系，统一图像坐标和地理坐标。

本实施例中，超长高清实景长卷中每个像素点都具有图像坐标和相对应的地理坐标，且地理坐标可与地名等热点数据进行关联，以方便用户对长卷的查看和规划。

S4-1：建立实景长卷子图像的坐标体系。

本实施例中，通过分段处理降低了超长高清实景长卷运算的复杂度，因此需建立实景长卷子图像的坐标体系，参考图4。

拍摄者在拍摄实景图像时，可同时采集获得图像中像素点的地理坐标，例如实景长卷子图像Z1中第一像素点的地理坐标为X₁(Lat₁，Lng₁),第二像素点的地理坐标为X₂(Lat₂，Lng₂)，其中Lat表示纬度，Lng表示经度；同时在构建的实景长卷子图像Z1的坐标体系中，第一像素点的图像坐标为X₁(c₁，r₁),第二像素点的地理坐标为X₂(c₂，r₂)，其中，r表示像素点在实景长卷子图像中的高度，c表示像素点在实景长卷子图像中的宽度。

则图像坐标和相应地理坐标的表达式为以下公式：

X(c_n，r_n)＝F(Lat_n，Lng_n) (1)

公式(1)中，X(c_n，r_n)表示实景长卷子图像中第n像素点的图像坐标，(Lat_n，Lng_n)表示第n像素点对应的地理坐标，F表示线性或非线性插值函数。

S4-2：建立超长高清实景长卷的坐标体系。

本实施例中，本发明通过建立的实景长卷子图像的坐标体系将子图像中像素点的图像坐标和地理坐标相关联，进一步地，为实现超长高清实景长卷中任意像素点的图像坐标和地理坐标相关联，需建立超长高清实景长卷的坐标体系。本发明将建立的坐标体系与地图相关联，方便用户进行快速的查询和检索。

本实施例中，第t段实景长卷子图像Zt在超长高清实景长卷B中的图像坐标的计算方法为：S_Zt＝W×(t-1)，其中S_Zt表示Zt的起算图像坐标。则实景长卷子图像中任一像素点在超长高清实景长卷中图像坐标与地理坐标的对应关系为：S_Zt+X_Zt(c_n，r_n)＝F(Lat_n，Lng_n)，其中X_Zt(c_n，r_n)表示第t段实景长卷子图像Zt中第n像素点的图像坐标。

S5：构建超长高清实景长卷的金字塔模型，提高加载效率。

本实施例中，通过构建超长高清实景长卷金子塔模型，提高图像的加载速度，以方便用户对图像的检索，提高用户的体验。

本实施例中，拼接生成的超长高清实景长卷B的大小为D×H，D表示B的宽度，H表示B的高度；采用d×d的图像比例按照一端到另一端的顺序对超长高清实景长卷B进行切片处理得到切片图像，d表示切片图像的宽度和高度。例如本发明采用d×d的图像比例对超长高清实景长卷B按照从左至右、从上到下的顺序进行切片，若最右一列图像的宽度小于d或最下一行图像的高度小于d，依然将所得图片作为切片图像。则所得切片图像的总行数总列数表示对的值进行向上取整,表示对的值进行向上取整；将所得的全部切片图像作为构建的超长高清实景长卷金子塔模型的最大层级，即第G层,G≥2且为正整数。

如图5所示，本发明构建的超长高清实景长卷金子塔模型为正三角形，最下层为最大层级即第G层，按照以下方法依次向上进行构建直至切片图像不满足构建条件为止(即最上一层为第一层)，得到超长高清实景长卷金子塔模型；第一层的超长高清实景长卷图像的尺寸小于第G层的超长高清实景长卷图像的尺寸，便于提高图像的加载速度，减少用户的搜索时间。

超长高清实景长卷金子塔模型构建方法如下：

超长高清实景长卷金子塔模型的第G-1层的第i行，第j列的切片图像是由第G层的(2*i,2*j)、(2*i,2*j+1)、(2*i+1,2*j)、(2*i+1,2*j+1)四张切片图像组成，i,j为整数，R_G表示第G层切片图像的行数，C_G表示第G层切片图像的列数，表示对的值进行向上取整,表示对的值进行向上取整。

Claims (7)

1.一种超长高清实景长卷无缝融合方法，其特征在于，包括以下步骤：

S1：采集单点实景图像及地理坐标，并拼接生成单点实景全景图像；

S2：单点实景全景图像拼接生成超长高清实景长卷，并修正重叠区域；

S3：通过对超长高清实景长卷进行分段处理，提高图像的存储能力和处理速度；

S4：建立超长高清实景长卷的坐标体系，统一图像坐标和地理坐标；

S5：构建超长高清实景长卷的金字塔模型，提高加载效率。

2.如权利要求1所述的一种超长高清实景长卷无缝融合方法，其特征在于，所述S1中，包括以下步骤：

S1-1:采集单点实景图像及地理坐标：

在m个拍摄位置分别拍摄n张实景图像，m≥2,n≥2,m、n为正整数，且同一拍摄位置拍摄的相邻实景图像之间具有第一重叠区域，相邻拍摄位置拍摄的实景图像之间具有第二重叠区域；同时测量实景图像中至少两个像素点对应的地理坐标；

S1-2:拼接生成单点实景全景图像：

将m个拍摄位置拍摄的n张实景图像分别拼接生成m个单点实景全景图像。

3.如权利要求2所述的一种超长高清实景长卷无缝融合方法，其特征在于，所述第一重叠区域的范围为30％～60％，第二重叠区域的范围为30％～60％。

4.如权利要求1所述的一种超长高清实景长卷无缝融合方法，其特征在于，所述S2中，包括以下步骤：

S2-1：拼接生成超长高清实景长卷：

将m个单点全景图像拼接生成超长高清实景长卷；

S2-2：修正重叠区域：

搜索第一单点实景全景图像和第二单点实景全景图像的第二重叠区域中同景深的特征地物，找出至少3个特征地物作为拼接目标；以第一单点实景全景图像为基础，以找到的拼接目标为控制对象，对第二单点实景全景图像进行图形变换，直到拼接目标完全重叠；对第二重叠区域进行拼接处理，修正单点实景全景图像中地物的位置。

5.如权利要求1所述的一种超长高清实景长卷无缝融合方法，其特征在于，所述S3中，采用大小为W×H的分段图像对大小为D×H的超长高清实景长卷进行分段，从而得到t个实景长卷子图像，W表示分段图像的宽度，D表示超长高清实景长卷的宽度，H表示分段图像和超长高清实景长卷的高度，且W＜D， 表示对的值进行向上取整。

6.如权利要求1所述的一种超长高清实景长卷无缝融合方法，其特征在于，所述S4包括以下步骤：

S4-1：建立实景长卷子图像的坐标体系：

X(c_n，r_n)＝F(Lat_n，Lng_n) (1)

公式(1)中，X(c_n，r_n)表示实景长卷子图像中第n像素点的图像坐标，其中，r表示像素点在实景长卷子图像中的高度，c表示像素点在实景长卷子图像中的宽度，(Lat_n，Lng_n)表示实景长卷子图像中第n像素点对应的地理坐标，Lat表示纬度，Lng表示经度，F表示线性或非线性插值函数；

S4-2：建立超长高清实景长卷的坐标体系：

S_Zt+X_Zt(c_n，r_n)＝F(Lat_n，Lng_n) (2)

公式(2)中，X_Zt(c_n，r_n)表示第t段实景长卷子图像Zt中第n像素点的图像坐标，S_Zt表示Zt在超长高清实景长卷中的起算坐标，S_Zt＝W×(t-1)。

7.如权利要求1所述的一种超长高清实景长卷无缝融合方法，其特征在于，所述S5中，所述超长高清实景长卷金字塔模型构建方法如下：

对大小为D×H的超长高清实景长卷进行切片得到切片图像，切片图像大小为d×d，将所得的全部切片图像作为构建的实景全景图像金子塔模型的最大层级，即第G层,G≥2且为正整数，D表示超长高清实景长卷的宽度，H表示超长高清实景长卷的高度，d表示切片图像的宽度和高度；

第G-1层的第i行，第j列的切片图像是由第G层的(2*i,2*j)、(2*i,2*j+1)、(2*i+1,2*j)、(2*i+1,2*j+1)四张切片图像组成，i,j为整数，R_G表示第G层切片图像的行数，C_G表示第G层切片图像的列数，表示对的值进行向上取整,表示对的值进行向上取整。