CN112437287A

CN112437287A - 一种全景图像扫描拼接方法

Info

Publication number: CN112437287A
Application number: CN202011317886.4A
Authority: CN
Inventors: 焦坦
Original assignee: Chengdu Visionertech Co ltd
Current assignee: Chengdu Visionertech Co ltd
Priority date: 2020-11-23
Filing date: 2020-11-23
Publication date: 2021-03-02

Abstract

本发明公开了一种全景图像扫描拼接方法，包括：在采集场景中安装全景相机，与3D场景模型在同一个坐标空间内，记录下全景相机中心点的坐标以及相机安装姿态，相机位置误差小于毫米级别，姿态误差小于0.1度，进行图像采集，将全景图像采集同步模块与纹理坐标映射及渲染模块分开独立设置，防止性能抢占，将从全景图像采集同步模块采集来的数据送入纹理坐标映射及渲染模块，根据空间几何分布关系，计算出模型上每个点对应的全景图像以及纹理坐标，利用GPU并发处理加速纹理坐标计算以及渲染处理，实现实时拼接渲染。本发明通过多台全景相机，快速实现指定场景的全景图像实时三维动态拼接，能够给人以直观的形式展示出指定区域的3D动态场景显示效果。

Description

一种全景图像扫描拼接方法

技术领域

本发明属于一种图像拼接处理方法，尤其是属于基于3D场景模型的全景扫描拼接贴图方法，涉及一种全景图像扫描拼接方法。

背景技术

目前，在真实场景建模领域，为了获得逼近真实的三维模型贴图，通常是采集建模物体不同角度的纹理信息，然后由建模师使用建模软件对模型进行纹理展开。对于复杂场景来说这是一个相当耗时耗力的工作，同时由于不同建模师对模型纹理展开方式不同，纹理贴图也无法通用，也无法做到模型环境纹理动态实时更新渲染。

发明内容

为了克服普通真实场景建模流程耗时低效且无法动态实时更新纹理的缺点。本发明提供基于全景纹理采集的自动几何映射拼接方式，高效快速将实时纹理贴到真实3D场景模型上。能够实时直观地给用户展示3D动态场景。

本发明通过以下技术方案实现：

全景图像扫描拼接方法，其特征在于包括以下步骤：

S1：将获取全景图像的相机相对分散地固定安装在需要采集的场景中；

S2：与3D场景模型在同一个坐标空间内，记录下全景相机中心点的坐标以及相机安装姿态；相机位置误差小于毫米级别，姿态误差小于0.1°；

S3：实时图像采集；进行图像采集，将全景图像采集同步模块与纹理坐标映射及渲染模块分开独立设置，防止性能抢占；

S4：纹理坐标映射及渲染模块；将从全景图像采集同步模块采集来的数据送入纹理坐标映射及渲染模块；

根据空间几何分布关系，计算出模型上每个点对应的全景图像以及纹理坐标；如，在模型上的一点，经过遮挡判断知道，该点与一全景采集点是相交的，计算出相交点的球坐标系下的坐标值，然后将此坐标根据全景相机安装姿态转换为全景图上的纹理坐标；

S5：利用GPU并发处理加速纹理坐标计算以及渲染处理，以达到画面实时拼接渲染。

进一步所述步骤S1获取全景图像的各相机通过USB或者网线直接连接以消减网络传输带来的延迟。

本发明方法首先在指定场景内确定若干个全景视频采集点，尽量确保无死角盲区即可。与3D场景模型在同一个坐标系下，记录下每个全景视频采集点的空间三维坐标值以及姿态数据。根据模型点线面遮挡关系，计算出每个点对应到的全景图上的坐标位置。对于多个全景图像覆盖区域，可以通过GPU来加速融合处理，以达到实时渲染拼接。

本发明的有益效果是，通过若干台全景相机设备，可以简单快速实现指定场景的全景图像实时三维动态拼接，能够给人以直观的形式展示出指定区域的3D动态场景显示效果。

附图说明

图1是本发明方法流程图；

图2本发明实施例的一种全景相机安装示意图；

图3是本发明实施例全景图纹理映射到模型的几何模型示意图。

具体实施方式

下面结合具体实施方式对本发明进一步说明，具体实施方式是对本发明原理的进一步说明，不以任何方式限制本发明，与本发明相同或类似技术均没有超出本发明保护的范围。

如图1和图2所示。

本发明实施例的全景图像扫描拼接方法，包括以下步骤：

S1：将全景设备相对分散的安装在需要采集的场景中；

S2：与3D场景模型在同一个坐标空间内，记录下全景相机中心点的坐标以及相机安装姿态；相机位置误差小于毫米级别，姿态误差小于0.1°；相机安装后不要再移动，如果位置姿态更改则需要重新记录；

S3：实时视频图像采集；

S31：为保证每个相机出流同步，防止出现拼缝画面不一致问题，可以通过USB或者网线直连全景设备，以消减网络传输带来的延迟；

S32：将全景数据采集同步模块与纹理坐标映射及渲染模块分开独立设置，防止性能抢占问题；

S4：纹理坐标映射及渲染模块；

S41：将从全景数据采集同步模块采集来的数据送入纹理坐标映射及渲染模块；

S42：根据空间几何分布关系，计算出模型上每个点对应的全景图以及纹理坐标。如，在模型上的一点，经过遮挡判断知道，该点与一全景采集点是相交的，计算出相交点的球坐标系下的坐标值，然后将此坐标根据全景相机安装姿态转换为全景图上的纹理坐标。本实施例在图2中，模型上的一点是O点，经过遮挡判断可以知道，O点与一全景采集点B点是相交的，计算出相交点的球坐标系下的坐标值，然后将此坐标根据全景相机安装姿态转换为全景图上的纹理坐标；

具体步骤算法如下：

S421：任取场景中一点O，其坐标为a(px,py,pz)，取全景采集点B坐标为b(qx，qy，qz)。

S422：取场景模型中任意三角面为F(v0，v1，v2)。

S423：由a、b两点组成的直线用Plucker坐标标识为L(L[0],L[1],L[2],L[3],L[4],L[5])。

S424：判断线段L与三角面F是否相交；

def plucker(a,b):

l0＝a[0]*b[1]-b[0]*a[1]

l1＝a[0]*b[2]-b[0]*a[2]

l2＝a[0]-b[0]

l3＝a[1]*b[2]-b[1]*a[2]

l4＝a[2]-b[2]

l5＝b[1]-a[1]

return[l0,l1,l2,l3,l4,l5]

def sideOp(a,b):

res＝a[0]*b[4]+a[1]*b[5]+a[2]*b[3]+a[3]*b[2]+a[4]*b[0]+a[5]*b[1]

return res

#定义点

a＝(0,0,0)

b＝(1,1,1)

v0＝(0,0,1)

v1＝(0,1,0)

v2＝(1,0,0)

#计算

e1＝plucker(v1,v0)

e2＝plucker(v2,v1)

e3＝plucker(v0,v2)

L＝plucker(a,b)

s1＝sideOp(L,e1)

s2＝sideOp(L,e2)

s3＝sideOp(L,e3)

if s1＝＝0and s2＝＝0and s3＝＝0:

print("线和三角形共面")

elif(s1>0and s2>0and s3>0)or(s1<0and s2<0and s3<0):

print("线穿过三角形")

elif(s1＝＝0and s2*s3>0)or(s2＝＝0and s1*s3>0)or(s3＝＝0and s1*s2>0):

print("线穿过三角形边缘")

elif(s1＝＝0and(s2＝＝0))or(s1＝＝0and(s3＝＝0))or(s2＝＝0and(s3＝＝0)):

print("线穿过三角形顶点")

S425：图2中，通过相交判断可得出，Lob与场景没有相交，并计算出Lob与全景采集球相交的经纬坐标为P(lon,lat)。可得出O点对应的B点全景采集图上的纹理坐标为(lon/360.0,(lat+90.0)/180.0)。

Claims

1.一种全景图像扫描拼接方法，其特征在于包括以下步骤：

S2：与3D场景模型在同一个坐标空间内，记录下全景相机中心点的坐标以及相机安装姿态；

S3：实时图像采集；进行图像采集，将全景图像采集同步模块与纹理坐标映射及渲染模块分开独立设置；

S4：纹理坐标映射及渲染；将从全景图像采集同步模块采集来的数据送入纹理坐标映射及渲染模块；根据空间几何分布关系，计算出模型上每个点对应的全景图像以及纹理坐标；

2.根据权利要求1所述的全景图像扫描拼接方法，其特征在于：步骤S1获取全景图像的各相机通过USB或者网线直接连接以消减网络传输带来的延迟。

3.根据权利要求1所述的全景图像扫描拼接方法，其特征在于：所述相机中心点坐标的位置误差小于毫米，姿态误差小于0.1°。