CN111768446B - 一种室内全景影像逆向建模融合方法 - Google Patents

Abstract

本发明公开一种室内全景影像逆向建模融合方法，包括以下步骤，S1：在室内不同位置点设置相机，对室内进行拍摄得到全景图像并构建相机成像球面投影模型；S2：选取室内地面的第一特征点，并计算第一特征点在相机成像球面投影模型中的空间坐标；S3：选取第一特征点垂直线上的第二特征点，并计算第二特征点在相机成像球面投影模型中的的空间坐标；S4：基于室内空间的几何规则性，利用特征点的空间坐标进行室内对应位置点的空间模型构面；S5：统一室内不同位置点的空间模型的坐标系并进行拼接，得到室内全景空间模型。本发明采用全景特征点还原室内空间模型，将极大缩减构建模型所需的数据量，处理速度快，易于网络发布。

Description

一种室内全景影像逆向建模融合方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种室内全景影像逆向建模融合方法。

背景技术

深度全景技术是目前虚拟现实技术领域热门研究方向，它的目标是构建真实世界对象的数字化表示，并在设备上显示出来，该技术将三维重建技术与全景技术结合起来，在全景中加入深度信息，能给人身临其境的感受。深度全景相较于传统全景，具有深度信息，可展现立体空间结构；在此基础上，支持深度数据应用，例如量测、模拟人的行走、AR/VR应用，为数字城市提供数据支撑。前景十分广阔。目前国内外已有谷歌、腾讯、贝壳如视、白犀牛等厂商提供了深度全景技术方案。深度全景技术进入发展的黄金期，以深度全景技术为基础的应用产品，发展前景有着很大的想象空间。

然而，国内外现有深度全景技术研究主要集中在使用深度相机采集RGB-D数据，使用深度数据进行三维建模，然后将彩色影像作为纹理映射到模型上，该方法需要密集采集作业空间的RGB-D数据，即想要获得效果比较好的全景模型，需要非常大的数据量，导致数据处理时对计算机的处理性能要求较高，处理较慢，不具普遍适用型，且模型有锯齿和空洞产生；另外也有使用倾斜摄影技术采用双目测量方法对深度数据进行获取，该方法也需要连续拍摄大量重叠图片，与深度相机建模方法有着相同的缺陷。

发明内容

针对现有技术中构建室内深度全景图像低精度和低速度的问题，本发明提出一种室内全景影像逆向建模融合方法，基于室内空间几何规则性，采用定点旋转拍摄空间一周的图片，数据量小，处理速度快，无空洞和锯齿产生，可展现完美的模型效果。

为了实现上述目的，本发明提供以下技术方案：

一种室内全景影像逆向建模融合方法，具体包括以下步骤：

S1：在室内不同位置点设置相机，对室内进行拍摄得到全景图像并构建相机成像球面投影模型；

S2：选取室内地面的第一特征点，并计算第一特征点在相机成像球面投影模型中的空间坐标；

S3：选取第一特征点垂直线上的第二特征点，并计算第二特征点在相机成像球面投影模型中的空间坐标；

S4：重复步骤S2、S3，直至计算出室内空间立面所有特征点，基于室内空间的几何规则性，对室内空间中每一个立面，顺次连接其特征点完成构面，实现室内不同位置点的空间模型构建；

S5：统一室内不同位置点的空间模型的坐标系并进行拼接，得到室内全景空间模型。

优选的,还包括：

S6：在室内全景空间模型中，将全景照片作为纹理，根据特征点的空间坐标，依据视点位置动态映射到室内全景空间模型上；同时，在单位置点的空间模型中，以室内全景空间模型为支撑，对单位置点的球面模型上任意点，动态计算对应点的深度数据。

优选的,所述相机成像球面投影模型的建立为：

以全景图像的球心O点为原点建立空间直角坐标系，经过原点与室内地面垂直的轴为Y轴；经过球心与室内地面平行的轴为Z轴；经过球心与室内地面平行且与Z轴垂直的轴为X轴；

则模型上任意一点P(x,y,z)的空间坐标为：

公式(1)中，d表示点P到球心O的距离；θ表示向量与XOZ平面的角度，λ表示向量在XOZ平面的投影与Z轴正方向的角度。

优选的,第一特征点P2′的空间坐标计算公式为：

公式(2)中，h表示球心O到室内地面的垂直距离；θ_P2表示向量与XOZ平面的角度；λ_P2表示向量/>在XOZ平面的投影与Z轴正方向的角度。

优选的,第二特征点P1′的空间坐标计算公式为：

公式(3)中，h表示球心O到室内地面的垂直距离；θ_P2表示向量与XOZ平面的角度；θ_P1表示向量/>与XOZ平面的角度；λ_P1表示向量/>在XOZ平面的投影与Z轴正方向的角度。

优选的,统一室内不同位置点的空间模型的坐标系的方法为：

S5-1：在室内不同位置点的空间模型中，任意选择一个位置点的空间模型作为锚定场景，从锚定场景的相邻场景开始，将相邻场景的模型通过同名点变换到锚定场景，然后将该相邻场景和锚定场景作为一个整体；

S5-2：重复步骤S5-1，直至所有位置点的空间模型转换到同一坐标系为止。

优选的,对室内全景空间模型中被遮挡的位置或变形的位置进行修正。

优选的,所述S6具体包括：在每一个位置点的室内空间球面投影模型中，相机成像球面模型上任一特征点的空间坐标为P_i(x_i,y_i,z_i)，其对应的室内全景空间模型坐标为P_i′(x_i′,y_i′,z_i′),在模型视点及视角变化过程中，对模型的每一个面完成特征点的映射，从而实现由特征点所组成的纹理向模型面的动态映射。

优选的,动态计算点的深度数据包括：

单位置点的空间模型中选取任意点P，视点O与点P连线的延长线与室内全景空间模型相交于点P′(x_P′,y_P′,z_P′)，

公式(4)中，d_p′表示点p′到球心O的距离，即点p的深度值；θ表示向量与XOZ平面的角度，λ表示向量/>在XOZ平面的投影与Z轴正方向的角度；

取点p′所在的室内空间模型面中任意三个特征点P₁(x₁,y₁,z₁)，P₂(x₂,y₂,z₂)，P₃(x₃,y₃,z₃)，即点p′与p₁,p₂,p₃共面，则法向量表示特征点P1和P2的向量，/>表示特征点P1和P3的向量，/>表示特征点P₁到P′的向量，因此可得到η·(x_p′-x₁,y_p′-y₁,z_p′-z₁)＝0；

则点p的深度值d_p′为：

A＝(x₁ y₁ z₁)，

公式(5)中，其中A、B、C为矩阵，θ表示向量与XOZ平面的角度，λ表示向量/>在XOZ平面的投影与Z轴正方向的角度。

综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

本发明采用全景特征点还原室内空间模型，可极大缩减构建模型所需数据量，数据存储量小，处理速度快，易于网络发布。突破传统全景视觉空间感限制，将深度数据融入全景，可立体展现室内空间结构，可进行测量，室内设计等。将多场景模型相互融合，构建统一坐标系，可展现大场景结构，为数字城市、室内导航、VR/AR等应用场景提供基础数据。

附图说明：

图1为根据本发明示例性实施例的一种室内全景影像逆向建模融合方法流程示意图。

图2为根据本发明示例性实施例的相机成像球面投影模型示意图。

具体实施方式

下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本发明提供一种室内全景影像逆向建模融合方法，具体包括以下步骤：

S1：将全景相机设置在室内，对室内进行拍摄得到若干张全景图像，并建立坐标系以构建相机成像球面投影模型。

本实施例中，将全景相机垂直于地面设置在室内不同的位置点，设置完成后，分别对室内进行全景拍摄得到全景图像数据，构建相机成像球面投影模型。

相机成像球面投影模型的建立为：

全景相机拍摄的图像为球面图像，球面图像的半径为全景相机的焦距，因此以球体中心0为原点建立空间直角坐标系(右手系)。经过球心与室内地面垂直的轴为Y轴，方向向上；经过球心与室内地面平行的轴为Z轴，方向向右；经过球心与室内地面平行且与Z轴垂直的轴为X轴，X轴、Y轴和Z轴互相垂直。

则球面图像上任意一点P(x,y,z)的空间坐标为：

公式(1)中，d表示点P到球心O的距离；θ表示向量与XOZ平面的角度，λ表示向量在XOZ平面的投影与Z轴正方向的角度。

S2：计算室内地面的第一特征点在构建的相机成像球面投影模型中的空间坐标。

本实施例中，在室内地面上选取一个点作为第一特征点，以进行相机成像球面投影模型的建立，第一特征点应选取室内空间中易于识别的立面变化处的角点，如墙角、门角、墙柱角、等角点。

如图2所示为构建的相机成像球面投影模型。P2′表示室内空间中地面上的第一特征点，P2表示P2′在相机成像球面模型上的成像点，相机的高度即球心O到室内地面的垂直距离为h，则

公式(2)中，|OP2′|表示地面的第一特征点P2′到球心O的距离；h表示球心O到室内地面的垂直距离；θ_P2′表示向量与XOZ平面的角度，θ_P2表示向量/>与XOZ平面的角度。

则结合公式(1)和公式(2)可得到P2′(x_P2′,y_P2′,z_P2′)在相机成像球面投影模型的空间坐标：

公式(3)中，h表示球心O到室内地面的垂直距离；θ_P2表示向量与XOZ平面的角度；λ_P2表示向量/>在XOZ平面的投影与Z轴正方向的角度。

S3：选取地面的第一特征点垂直线上的第二特征点，并计算第二特征点的空间坐标。

本实施例中，垂直线为经过地面的第一特征点且与地面垂直的线，并在垂直线上选取一个点作为第二特征点，第二特征点应为室内空间中易于识别的立面上部的角点，如墙角、门角、墙柱角等角点。如图2所示，在垂直线上选取第二特征点P1′，P1表示P1′在相机成像球面模型上的成像点，则

则结合公式(1)和公式(4)可得到P1′(x_P1′,y_P1′,z_P1′)在相机成像球面投影模型的空间坐标：

公式(5)中，h表示球心O到室内地面的垂直距离；θ_P2表示向量与XOZ平面的角度；θ_P1表示向量/>与XOZ平面的角度；λ_P1表示向量/>在XOZ平面的投影与Z轴正方向的角度。

S4：重复步骤S2、S3，直至计算出室内空间立面所有特征点的空间坐标，基于室内空间的几何规则性(墙体及其附属设施立面与地面成正交关系)，对室内空间中每一个立面，顺次连接其特征点完成构面，实现室内不同位置点的空间模型构建。

S5：统一室内不同位置点的空间模型的坐标系，以使不同的空间模型拼接合成一个整体，得到室内全景空间模型。

本实施例中，室内不同位置点的空间模型选取的坐标系Z轴方向可能不一致以及球面坐标系之间存在位置的平移，在室内不同位置点的空间模型构建完成后，需要为各模型统一坐标系，以使场景合成一个整体，立体展现室内空间结构。

本实施例中，在室内不同位置点的空间模型中，任意选择一个位置点的空间模型作为锚定场景，从锚定场景的相邻场景开始，将相邻场景的模型通过同名点变换到锚定场景，然后将该相邻场景和锚定场景作为一个整体，再次对相邻场景进行变换，直至所有场景的空间模型转换到统一坐标系。与此同时球面全景坐标系同时变换。

由于透视关系，导致有些点被遮挡，对于这种情况，需要结合相邻场景模型和根据透视关系对其进行修正。

各相邻场景通视，导致离视点较远的位置模型变形，对于这种情形，需要以变形位置较近位置的模型作为参考进行修正。

S6：在室内全景空间模型中，将全景照片作为纹理，根据特征点的空间坐标，依据视点位置动态映射到室内全景空间模型上。

在每一个视点(位置点)位置的室内空间球面投影模型中，设相机成像球面模型上任一特征点的空间坐标为P_i(x_i,y_i,z_i)，其对应的室内全景空间模型坐标P_i′(x_i′,y_i′,z_i′),在模型视点及视角变化过程中，对模型的每一个面完成特征点的映射，从而实现由特征点所组成的纹理向模型面的动态映射。

同时，在单位置点的空间模型中，以室内全景空间模型为支撑，对单位置点的球面模型上任意点，基于上述方法生成的室内空间模型，根据相机透视模型原理，动态计算对应点的深度数据。

本实施例中，设单位置点的球面全景(空间模型)中任意点P，视点O与点P连线的延长线与室内全景空间模型相交于点P′(x_P′,y_P′,z_P′)，取p′所在的室内空间模型面中任意三个特征点p_i(x_i,y_i,z_i)(i∈{1,2,3})，即P₁(x₁,y₁,z₁)，P₂(x₂,y₂,z₂)，P₃(x₃,y₃,z₃)，则上述室内空间模型面的法向量表示特征点P₁和P₂的向量，/>表示特征点P₁和P₃的向量，则

公式(6)中，η表示室内空间模型面的法向量，m、n、k表示法向量的参数。

在室内空间模型面中，因为点p′与p₁,p₂,p₃共面，则有(/>表示特征点P₁到P′的向量，η为p₁,p₂,p₃所在面的法向量)，即

η·(x_p′-x₁,y_p′-y₁,z_p′-z₁)＝0 (7)

根据公式(1)可得点P′(x_P′,y_P′,z_P′)的空间坐标为：

公式(8)中，d_p′表示点p′到球心O的距离，即点p的深度值；θ表示向量与XOZ平面的角度，λ表示向量/>在XOZ平面的投影与Z轴正方向的角度。

则根据公式(7)、公式(8)即可求得P点的深度：

A＝(x₁ y₁ z₁),

公式(9)中，其中A、B、C为矩阵，θ表示向量与XOZ平面的角度，λ表示向量/>在XOZ平面的投影与Z轴正方向的角度。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (7)

1.一种室内全景影像逆向建模融合方法，其特征在于,具体包括以下步骤：

S1：在室内不同位置点设置相机，对室内进行拍摄得到全景图像并构建相机成像球面投影模型；

S2：选取室内地面的第一特征点，并计算第一特征点在相机成像球面投影模型中的空间坐标；

第一特征点P2′的空间坐标计算公式为：

公式(2)中，h表示球心O到室内地面的垂直距离；θ_P2表示向量与XOZ平面的角度；λ_P2表示向量/>在XOZ平面的投影与Z轴正方向的角度；

S3：选取第一特征点垂直线上的第二特征点，并计算第二特征点在相机成像球面投影模型中的空间坐标；

第二特征点P1′的空间坐标计算公式为：

公式(3)中，h表示球心O到室内地面的垂直距离；θ_P2表示向量与XOZ平面的角度；θ_P1表示向量/>与XOZ平面的角度；λ_P1表示向量/>在XOZ平面的投影与Z轴正方向的角度；

S4：重复步骤S2、S3，直至计算出室内空间立面所有特征点，基于室内空间的几何规则性，对室内空间中每一个立面，顺次连接其特征点完成构面，实现室内不同位置点的空间模型构建；

S5：统一室内不同位置点的空间模型的坐标系并进行拼接，得到室内全景空间模型。

2.如权利要求1所述的一种室内全景影像逆向建模融合方法，其特征在于,还包括：

S6：在室内全景空间模型中，将全景照片作为纹理，根据特征点的空间坐标，依据视点位置动态映射到室内全景空间模型上；同时，在单位置点的空间模型中，以室内全景空间模型为支撑，对单位置点的球面模型上任意点，动态计算对应点的深度数据。

3.如权利要求1所述的一种室内全景影像逆向建模融合方法，其特征在于,所述相机成像球面投影模型的建立为：

以全景图像的球心O点为原点建立空间直角坐标系，经过原点与室内地面垂直的轴为Y轴；经过球心与室内地面平行的轴为Z轴；经过球心与室内地面平行且与Z轴垂直的轴为X轴；

则模型上任意一点P(x,y,z)的空间坐标为：

公式(1)中，d表示点P到球心O的距离；θ表示向量与XOZ平面的角度，λ表示向量/>在XOZ平面的投影与Z轴正方向的角度。

4.如权利要求1所述的一种室内全景影像逆向建模融合方法，其特征在于,统一室内不同位置点的空间模型的坐标系的方法为：

S5-1：在室内不同位置点的空间模型中，任意选择一个位置点的空间模型作为锚定场景，从锚定场景的相邻场景开始，将相邻场景的模型通过同名点变换到锚定场景，然后将该相邻场景和锚定场景作为一个整体；

S5-2：重复步骤S5-1，直至所有位置点的空间模型转换到同一坐标系为止。

5.如权利要求1所述的一种室内全景影像逆向建模融合方法，其特征在于,对室内全景空间模型中被遮挡的位置或变形的位置进行修正。

6.如权利要求2所述的一种室内全景影像逆向建模融合方法，其特征在于,所述S6具体包括：在每一个位置点的室内空间球面投影模型中，相机成像球面模型上任一特征点的空间坐标为P_i(x_i,y_i,z_i)，其对应的室内全景空间模型坐标为P_i′(x′_i,y_i′,z_i′),在模型视点及视角变化过程中，对模型的每一个面完成特征点的映射，从而实现由特征点所组成的纹理向模型面的动态映射。

7.如权利要求2所述的一种室内全景影像逆向建模融合方法，其特征在于,动态计算点的深度数据包括：

单位置点的空间模型中选取任意点P，视点O与点P连线的延长线与室内全景空间模型相交于点P′(x_P′,y_P′,z_P′)，

公式(4)中，d_p′表示点p′到球心O的距离，即点p的深度值；θ表示向量与XOZ平面的角度，λ表示向量/>在XOZ平面的投影与Z轴正方向的角度；

取点p′所在的室内空间模型面中任意三个特征点P₁(x₁,y₁,z₁)，P₂(x₂,y₂,z₂)，P₃(x₃,y₃,z₃)，即点p′与p₁,p₂,p₃共面，则法向量表示特征点P1和P2的向量，/>表示特征点P1和P3的向量，/>表示特征点P₁到P′的向量，因此可得到η·(x_p′-x₁,y_p′-y₁,z_p′-z₁)＝0；

则点p的深度值d_p′为：

A＝(x₁ y₁ z₁)，

公式(5)中，其中A、B、C为矩阵，θ表示向量与XOZ平面的角度，λ表示向量/>在XOZ平面的投影与Z轴正方向的角度。