CN113920270B - 一种基于多视角全景的布局重建方法及其系统 - Google Patents
一种基于多视角全景的布局重建方法及其系统 Download PDFInfo
- Publication number
- CN113920270B CN113920270B CN202111527178.8A CN202111527178A CN113920270B CN 113920270 B CN113920270 B CN 113920270B CN 202111527178 A CN202111527178 A CN 202111527178A CN 113920270 B CN113920270 B CN 113920270B
- Authority
- CN
- China
- Prior art keywords
- information
- layout
- panoramic image
- indoor scene
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 238000012937 correction Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 101150050759 outI gene Proteins 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及室内场景布局技术领域，特别涉及一种基于多视角全景的布局重建方法及其系统；本发明先将全景影像投影到立方体上，获取六个面的透视影像，从这六个面的透视影像中进行影像特征的提取和特征的匹配，从而得到每张全景影像的位置信息和姿态信息；然后将预先训练好的深度神经网络对每张全景影像预测出室内场景的三维布局信息；最后将全景影像的位置信息、姿态信息与室内场景的三维布局信息融合，从而完成室内场景重建；本发明只需要一个全景传感器即可完成整个室内场景的布局重建，无须人工干预，能够高效的进行室内场景重建。
Description
技术领域
本发明涉及室内场景布局技术领域，特别涉及一种基于多视角全景的布局重建方法及其系统。
背景技术
相比于室内三维模型的重建，室内场景的布局重建结果更加简捷紧凑，在VR/AR领域具有更大的应用范围。
专利名称为一种室内三维布局重建的方法（专利号ZL201910343315）的中国发明专利，其公开了先采集室内场景的图像序列数据及惯性测量数据，同时对室内场景进行实时三维重建，得到关键帧图像序列及其实时重建的位置与姿态；再利用关键帧图像序列及其对应的实时重建的位置与姿态，进行离线三维重建，得到室内场景的稠密三维点云；然后从室内场景的稠密三维点云中抽取平面结构，对平面结构进行筛选和分类，得到房顶平面、地面平面和候选墙面平面，同时得到楼层高度；而后根据房顶平面、地面平面、候选墙面平面及楼层高度，构造所述室内场景的三维布局；最后输出三维布局重建结果；其主要是在利用RGB彩色影像完成室内场景重建后，再从室内场景的稠密三维点云中抽取平面结构，对平面结构进行筛选和分类，以便得到室内场景的布局信息。
专利名称为一种室内重建方法、装置、设备和介质（专利号为CN201711163966）的中国发明申请专利，其公开了先获取采集的室内装饰的全景图像、景深数据和采集位置；根据全景图像、景深数据和采集位置，对室内装饰所在房屋的立体空间进行三维重建，生成三维房屋模型；其主要是利用单张RGB影像，基于深度神经网络估计室内的三维布局信息，每次仅能对较小区域进行布局重建。
发明内容
本发明主要解决的技术问题是提供一种基于多视角全景的布局重建方法，只需要一个全景传感器即可完成整个室内场景的布局重建，无须人工干预，能够高效的进行室内场景重建；还提供了一种基于多视角全景的布局重建系统。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于多视角全景的布局重建方法，其中，包括如下步骤：
步骤S1、将全景影像投影到立方体上，获取六个面的透视影像，从这六个面的透视影像中进行影像特征的提取和特征的匹配，从而得到每张全景影像的位置信息和姿态信息；
步骤S2、将预先训练好的深度神经网络对每张全景影像进行训练，预测出室内场景的三维布局信息；
步骤S3、将全景影像的位置信息、姿态信息与室内场景的三维布局信息融合，从而完成室内场景重建。
作为本发明的一种改进，在步骤S1内，以灰度变化更大的区域作为特征点，进行影像特征的提取。
作为本发明的进一步改进，在步骤S1内，通过光流匹配来进行特征点的特征匹配。
作为本发明的更进一步改进，在步骤S1内，根据提取的影像特征和特征匹配点，计算出每张全景影像的位置信息和姿态信息。
作为本发明的更进一步改进，在步骤S2内，将预先训练好的深度神经网络对每张全景影像进行训练时，输入为全景影像，输出为房屋角点和房屋墙线图。
作为本发明的更进一步改进，在步骤S2内，从全景影像中提取出房屋角点、房屋角点深度和二维房屋墙线，再将其反投影到三维空间内，从而预测出室内场景的三维布局信息。
作为本发明的更进一步改进，在步骤S3内，根据全景影像的姿态信息，获取稀疏点的尺度信息，从而对步骤S2内的室内场景的三维布局信息的尺度信息进行矫正。
作为本发明的更进一步改进，在步骤S3内，将稀疏点的尺度信息与室内场景的三维布局信息的尺度信息进行比较，得到尺度矫正因子，从而根据尺度矫正因子对室内场景的三维布局信息进行缩放。
作为本发明的更进一步改进，在步骤S3内，将全部全景影像生成的矫正后的室内场景的三维布局进行融合，得到室内场景的布局。
一种基于多视角全景的布局重建系统，其中，包括：
姿态获取模块，用于将全景影像投影到立方体上，获取六个面的透视影像，从这六个面的透视影像中进行影像特征的提取和特征的匹配，从而得到每张全景影像的位置信息和姿态信息；
训练布局模块，用于将预先训练好的深度神经网络对每张全景影像进行训练，预测出室内场景的三维布局信息；
融合重建模块，将全景影像的位置信息、姿态信息与室内场景的三维布局信息融合，从而完成室内场景重建。
本发明的有益效果是：本发明先将全景影像投影到立方体上，获取六个面的透视影像，从这六个面的透视影像中进行影像特征的提取和特征的匹配，从而得到每张全景影像的位置信息和姿态信息；然后将预先训练好的深度神经网络对每张全景影像进行训练，预测出室内场景的三维布局信息；最后将全景影像的位置信息、姿态信息与室内场景的三维布局信息融合，从而完成室内场景重建；本发明只需要一个全景传感器即可完成整个室内场景的布局重建，无须人工干预，能够高效的进行室内场景重建。
附图说明
图1为本发明的步骤框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参照图1，本发明的一种基于多视角全景的布局重建方法，包括如下步骤：
步骤S1、将全景影像投影到立方体上，获取六个面的透视影像，从这六个面的透视影像中进行影像特征的提取和特征的匹配，从而得到每张全景影像的位置信息和姿态信息；
步骤S2、将预先训练好的深度神经网络对每张全景影像进行训练，预测出室内场景的三维布局信息；
步骤S3、将全景影像的位置信息、姿态信息与室内场景的三维布局信息融合，从而完成室内场景重建。
本发明只需要一个全景传感器即可完成整个室内场景的布局重建，无须人工干预，能够高效地进行室内场景重建。
在步骤S1内，以灰度变化更大的区域作为特征点，进行影像特征的提取，通过光流匹配来进行特征点的特征匹配；根据提取的影像特征和特征匹配点，计算出每张全景影像的位置信息和姿态信息。
具体地说，相比于场景的透视影像，全景影像具有360°的FOV，在室内场景中进行位姿估计时更不易受到遮挡、弱/重复纹理的干扰；全景影像的实时位姿估计的流程是，先将全景影像投影到立方体上，获取6个面的透视影像，然后在6张透视影像上进行影像特征提取和特征匹配，并进而计算出每张全景影像的位置和姿态信息，也就是，全景相机在进行特征提取和特征匹配时，为保证计算效率，使用高效的灰度变化较大区域作为特征点，并通过光流进行特征点的匹配，因此，特征点的选择依据如下，记位于全景影像上
处的亮度要比窗口大小为2m+1内的像素亮度差异大于阈值，
同时在进行光流匹配时，假设影像的
的变化是与时间相关联的函数
，进而将匹配问题转化为优化问题，完成特征匹配。
需要对下式进行优化，其中
为待求解的未知量，
最后基于特征匹配点和多视立体几何，将全景影像的位置姿态
和特征点的三维位置
作为未知量，通过以下方程进行求解，其中
表示特征点
在影像
上的像素坐标，
在步骤S2内，将预先训练好的深度神经网络对每张全景影像进行训练时，输入为全景影像，输出为房屋角点和房屋墙线图；操作时，从全景影像中提取出房屋角点、房屋角点深度和二维房屋墙线，再将其反投影到三维空间内，从而预测出室内场景的三维布局信息。
具体地讲，在每张全景影像上利用深度神经网络直接预测室内场景的三维布局信息，能够获取当前全景影像所对应的室内场景的布局信息；全景布局生成的核心要素是先从全景影像上提取出房屋角点
及其深度和二维房屋墙线
，然后将其反投影到三维空间中。
为此，需要构建深度神经网络，其输入为一张全景影像，输出为房屋角点和房屋墙线图，将其对应获取的布局称为
，其中
代指神经网络，
和
是网络的预测结果，具体如下：
在步骤S3内，根据全景影像的姿态信息，获取稀疏点的尺度信息，从而对步骤S2内的室内场景的三维布局信息的尺度信息进行矫正；也就是说，将稀疏点的尺度信息与室内场景的三维布局信息的尺度信息进行比较，得到尺度矫正因子，从而根据尺度矫正因子对室内场景的三维布局信息进行缩放；将全部全景影像生成的矫正后的室内场景的三维布局进行拓扑融合，得到室内场景的布局。
具体地讲，单张全景影像和其布局信息仅能完成部分室内场景的重建，不能完成对整个室内场景的三维重建，针对此问题，可以分成两个步骤进行多视角布局重建：
第一步，利用实时位姿估计时获取的稀疏点的尺度信息，对室内布局信息的尺度信息进行矫正，保证多视角全景影像生成的布局具有同样的尺度；也就是是直接比较稀疏点尺度和对应的布局尺度，并通过优化算法计算尺度矫正因子，对于全景影像
和与其对应的
，首先可以获取
在全景上的投影坐标
和深度
；同时，也可以将全景布局
投影到
，获取
处的深度
，为消除
的深度不一致性，可以构建如下方程求解尺度矫正因子
：
第二步，完成尺度矫正后，将多张影像生成的布局信息进行融合。
由于室内布局除高度外可以简化成二维平面，因此首先构建分辨率为r的二维体素，然后将多帧全景影像的布局投影到体素中，进一步根据体素对所有布局信息进行融合，最后再将体素信息转化为拓扑信息作为最终输出，得到整个室内场景的布局重建结果。
本发明还提供了一种基于多视角全景的布局重建系统，包括：
姿态获取模块，用于将全景影像投影到立方体上，获取六个面的透视影像，从这六个面的透视影像中进行影像特征的提取和特征的匹配，从而得到每张全景影像的位置信息和姿态信息；
训练布局模块，用于将预先训练好的深度神经网络对每张全景影像进行训练，预测出室内场景的三维布局信息；
融合重建模块，将全景影像的位置信息、姿态信息与室内场景的三维布局信息融合，从而完成室内场景重建。
相比于其他室内布局重建方案，本发明仅需要一个全景传感器即可完成整个室内场景的布局重建，无须人工干预，能够高效的进行室内场景重建。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于多视角全景的布局重建方法，获取多张全景影像，其特征在于，还包括如下步骤：
步骤S1、将全景影像投影到立方体上，获取六个面的透视影像，从这六个面的透视影像中进行影像特征的提取和特征的匹配，从而得到每张全景影像的位置信息和姿态信息；
步骤S2、将预先训练好的深度神经网络对每张全景影像进行预测，得到室内场景的三维布局信息；
步骤S3、将全景影像的位置信息、姿态信息与室内场景的三维布局信息融合，从而完成室内场景重建；
在步骤S1内，以灰度变化的区域作为特征点，进行影像特征的提取；
在步骤S1内，通过光流匹配来进行特征点的特征匹配；
在步骤S1内，根据提取的影像特征和特征匹配点，计算出每张全景影像的位置信息和姿态信息；
所述特征点的区域选择依据位于全景影像I上(x,y)处的亮度要比窗口大小为2m+1内的像素亮度差异大于阈值t来进行选择，其表达式为：
，其中m为投影坐标。
2.根据权利要求1所述的一种基于多视角全景的布局重建方法，其特征在于，在步骤S2内，将预先训练好的深度神经网络对每张全景影像进行预测时，输入为全景影像，输出为房屋角点和房屋墙线图。
3.根据权利要求2所述的一种基于多视角全景的布局重建方法，其特征在于，在步骤S2内，从全景影像中提取出房屋角点、房屋角点深度和二维房屋墙线，再将其反投影到三维空间内，从而预测出室内场景的三维布局信息。
4.根据权利要求3所述的一种基于多视角全景的布局重建方法，其特征在于，在步骤S3内，根据全景影像的姿态信息，获取稀疏点的尺度信息，从而对步骤S2内的室内场景的三维布局信息的尺度信息进行矫正。
5.根据权利要求4所述的一种基于多视角全景的布局重建方法，其特征在于，在步骤S3内，将稀疏点的尺度信息与室内场景的三维布局信息的尺度信息进行比较，得到尺度矫正因子，从而根据尺度矫正因子对室内场景的三维布局信息进行缩放。
6.根据权利要求5所述的一种基于多视角全景的布局重建方法，其特征在于，在步骤S3内，将全部全景影像生成的矫正后的室内场景的三维布局进行融合，得到室内场景的布局。
7.一种采用如权利要求1至6任一项所述布局重建方法的基于多视角全景的布局重建系统，其特征在于，包括：
姿态获取模块，用于将全景影像投影到立方体上，获取六个面的透视影像，从这六个面的透视影像中进行影像特征的提取和特征的匹配，从而得到每张全景影像的位置信息和姿态信息；
训练布局模块，用于将预先训练好的深度神经网络对每张全景影像进行预测，获取室内场景的三维布局信息；
融合重建模块，将全景影像的位置信息、姿态信息与室内场景的三维布局信息融合，从而完成室内场景重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111527178.8A CN113920270B (zh) | 2021-12-15 | 2021-12-15 | 一种基于多视角全景的布局重建方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111527178.8A CN113920270B (zh) | 2021-12-15 | 2021-12-15 | 一种基于多视角全景的布局重建方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113920270A CN113920270A (zh) | 2022-01-11 |
| CN113920270B true CN113920270B (zh) | 2022-08-19 |
Family
ID=79249029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111527178.8A Active CN113920270B (zh) | 2021-12-15 | 2021-12-15 | 一种基于多视角全景的布局重建方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920270B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449247B (zh) * | 2022-04-11 | 2022-07-22 | 深圳市其域创新科技有限公司 | 一种多路视频3d叠加方法及其系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11074701B2 (en) * | 2019-12-13 | 2021-07-27 | Reconstruct Inc. | Interior photographic documentation of architectural and industrial environments using 360 panoramic videos |
| CN111275750B (zh) * | 2020-01-19 | 2022-05-13 | 武汉大学 | 基于多传感器融合的室内空间全景图像生成方法 |
| CN111462311B (zh) * | 2020-03-31 | 2023-10-24 | 北京小米松果电子有限公司 | 全景图生成方法及装置、存储介质 |
| CN111797748A (zh) * | 2020-06-28 | 2020-10-20 | 北京比邻弘科科技有限公司 | 基于深度学习的图像识别方法 |
| CN113298928A (zh) * | 2021-03-26 | 2021-08-24 | 阿里巴巴新加坡控股有限公司 | 房屋三维重建方法、装置、设备和存储介质 |
| CN113409442A (zh) * | 2021-05-13 | 2021-09-17 | 杭州电子科技大学 | 一种多全景图融合三维重建的方法 |
| CN113487723B (zh) * | 2021-06-23 | 2023-04-18 | 武汉微景易绘科技有限公司 | 基于可量测全景三维模型的房屋在线展示方法及系统 |
-
2021
- 2021-12-15 CN CN202111527178.8A patent/CN113920270B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113920270A (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107578436B (zh) | 一种基于全卷积神经网络fcn的单目图像深度估计方法 | |
| CN108876814B (zh) | 一种生成姿态流图像的方法 | |
| CN110223370B (zh) | 一种从单视点图片生成完整人体纹理贴图的方法 | |
| CN111325794A (zh) | 一种基于深度卷积自编码器的视觉同时定位与地图构建方法 | |
| WO2015188684A1 (zh) | 三维模型重建方法与系统 | |
| US20170213320A1 (en) | Reconstruction of articulated objects from a moving camera | |
| CN114359509B (zh) | 一种基于深度学习的多视图自然场景重建方法 | |
| JP2008186456A (ja) | ２ｄイメージシーケンスからの３ｄシーン再構成方法 | |
| CN113077505B (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
| KR102152432B1 (ko) | 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법 | |
| CN113850900B (zh) | 三维重建中基于图像和几何线索恢复深度图的方法及系统 | |
| CN115239870A (zh) | 基于注意力代价体金字塔的多视图立体网络三维重建方法 | |
| CN112270736A (zh) | 增强现实处理方法及装置、存储介质和电子设备 | |
| CN111640172A (zh) | 一种基于生成对抗网络的姿态迁移方法 | |
| CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计系统 | |
| CN107610219A (zh) | 一种三维场景重构中几何线索感知的像素级点云稠密化方法 | |
| CN112927348A (zh) | 一种基于多视点rgbd相机高分辨率人体三维重建方法 | |
| CN115512055A (zh) | 一种基于二维视频进行室内结构三维重建的方法、装置及计算机设备 | |
| CN113920270B (zh) | 一种基于多视角全景的布局重建方法及其系统 | |
| CN117711066A (zh) | 一种三维人体姿态估计方法、装置、设备及介质 | |
| Reid et al. | Multiview segmentation and tracking of dynamic occluding layers | |
| JP2002032741A (ja) | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 | |
| CN117274514A (zh) | 基于地空视角几何变换的遥感图像生成方法及装置 | |
| CN114935316B (zh) | 基于光学跟踪与单目视觉的标准深度图像生成方法 | |
| CN116630953A (zh) | 一种基于神经体渲染的单目图像3d目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yan Qingsong Inventor after: Zhao Kaiyong Inventor before: Yan Qingsong |
|
| CB03 | Change of inventor or designer information |