CN113538658A - 一种基于深度修复的室内场景三维重构方法及系统 - Google Patents

一种基于深度修复的室内场景三维重构方法及系统 Download PDF

Info

Publication number
CN113538658A
CN113538658A CN202110739650.8A CN202110739650A CN113538658A CN 113538658 A CN113538658 A CN 113538658A CN 202110739650 A CN202110739650 A CN 202110739650A CN 113538658 A CN113538658 A CN 113538658A
Authority
CN
China
Prior art keywords
restoration
depth
model
indoor scene
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110739650.8A
Other languages
English (en)
Inventor
林小龙
徐敬东
冯胜平
周红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Fengdanbailu Smart Logo Technology Co Ltd
Original Assignee
Hubei Fengdanbailu Smart Logo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Fengdanbailu Smart Logo Technology Co Ltd filed Critical Hubei Fengdanbailu Smart Logo Technology Co Ltd
Priority to CN202110739650.8A priority Critical patent/CN113538658A/zh
Publication of CN113538658A publication Critical patent/CN113538658A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度修复的室内场景三维重构方法及系统，所述方法包括：通过立体相机获取室内场景的目标图像对；基于构建编码‑解码结构的特征提取网络，引入注意力模块和特征融合模块，建立生成对抗式立体图像修复网络模型；将所述生成对抗式立体图像修复网络模型与视差网络模型一起组成深度修复模型；制作数据集并训练所述深度修复模型；通过训练后的深度修复模型对目标图像对进行深度修复，根据深度修复后的目标图像对进行室内场景三维重构。本发明基于深度学习实现了目标图像对的修复，减少修复遗漏，提高图像修复的完成度。

Description

一种基于深度修复的室内场景三维重构方法及系统
技术领域
本发明属于计算机视觉技术领域，具体涉及一种基于深度修复的室内场景三维重构方法及系统。
背景技术
基于计算机视觉的三维重建是指利用数码相机或者摄像机获取图像，构建算法以估计所拍摄场景或者目标的三维信息，实现表达三维客观世界的目的。双目立体相机通过左右两个摄像头对同一场景采集图像，由于两个摄像头角度不同，会有视差，通过估算左右图像中匹配关键点之间的差异来计算深度，从而实时获取场景深度图像，能方便的用于室内场景的视觉三维重建。对于光线较亮或较暗的物体、纹理缺失的表面，左右两个红外摄像头中采集到的深度图像差异较大，会造成无法匹配或匹配错误，从而导致获取到的深度信息错误或缺失，深度图像存在较大噪声和空洞，导致重建的三维模型存在缺失。现有的深度图像修复往往无法修复大块噪声区域或存在遗漏问题，修复效果不理想。
发明内容
有鉴于此，本发明提出了一种基于深度修复的室内场景三维重构方法及系统、设备、存储介质，用于解决现有深度图像修复存在过多遗漏的问题。
本发明第一方面，公开一种基于深度修复的室内场景三维重构方法，所述方法包括：
通过立体相机获取室内场景的目标图像对；
基于构建编码-解码结构的特征提取网络，引入注意力模块和特征融合模块，建立生成对抗式立体图像修复网络模型；
将所述生成对抗式立体图像修复网络模型与视差网络模型一起组成深度修复模型；
制作数据集并训练所述深度修复模型；
通过训练后的深度修复模型对目标图像对进行深度修复，根据深度修复后的目标图像对进行室内场景三维重构。
优选的，所述编码-解码结构的特征提取网络包括编码器和解码器，所述编码器、注意力模块、特征融合模块和解码器共同组成一个生成器。
优选的，所述编码器、解码器以基于门限机制的特征提取单元为基本单元分别对目标图像对中的左视图和右视图进行特征提取，分别得到左视图和右视图的相应的特征图；
所述编码器通过两次下采样提取图像特征生成特征向量，所述解码器通过两次上采样生成缺失部分图像，得到修复后的图像。
优选的，将所述编码器提取的特征输入注意力模块中，通过注意力模块学习左视图和右视图之间的对齐信息；
所述融合模块将注意力模块的对齐信息与待修复区域特征融合，最后通过解码器输出修复后的左视图和右视图。
优选的，所述视差网络模型采用PSMNet的网络结构，用于求取修复完成的目标图像对的视差图，并用真值视差图监督求取的视差图的一致性。
优选的，所述深度修复模型还包括分别与左视图、右视图的解码器对应的判别器，所述判别器包括全局判别器和局部判别器；
所述全局判别器分别用于鉴别修复完成的左视图、右视图的完整图像进行损失判定，判断修复完成的完整图像是否符合要求；
所述局部判别器分别对修复完成的左视图、右视图的局部修复区域进行损失判定，判断局部修复区域的修复结果是否符合要求；。
本发明第二发明，公开一种基于深度修复的室内场景三维重构系统，所述系统包括：
图像获取模块：通过立体相机获取室内场景的目标图像对；
模型建立模块：基于构建编码-解码结构的特征提取网络，引入注意力模块和特征融合模块，建立生成对抗式立体图像修复网络模型；将所述生成对抗式立体图像修复网络模型与视差网络模型一起组成深度修复模型；
模型训练模块：制作数据集并训练所述深度修复模型；
三维重构模块：通过训练后的深度修复模型对目标图像对进行深度修复，根据深度修复后的目标图像对进行室内场景三维重构。
本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明第一方面所述的系统。
本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明第一方面所述的系统。
本发明相对于现有技术具有以下有益效果：
1)本发明通过构建特征提取网络来学习同一场景下不同角度图像的特征，通过生成对抗机制进行图像生成，实现目标图像对的修复，基于视差网络模型求取修复完成后的目标图像对的视差，保证视差的一致性，从而根据视差进行场景三维重建，得到高精度的三维模型。
2)本发明在编码器和解码器之间引入注意力机制和特征融合模块，一方面学习左视图和右视图之间的对齐信息，另一方面可加大对缺失部分的各个空洞区域的注意力，减少遗漏，提高图像修复的完成度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的基于深度修复的室内场景三维重构方法流程图；
图2为本发明深度修复模型的网络结构示意图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，本发明提出一种基于深度修复的室内场景三维重构方法，所述方法包括：
S1、通过立体相机获取室内场景的目标图像对；所述目标图像对包括同一场景的左视图和右视图。
S2、基于构建编码-解码结构的特征提取网络，引入注意力模块和特征融合模块，建立生成对抗式立体图像修复网络模型；
所述编码-解码结构的特征提取网络包括编码器和解码器，所述编码器、注意力模块、特征融合模块和解码器共同组成一个生成器。
所述编码器、解码器以基于门限机制的特征提取单元为基本单元分别对目标图像对中的左视图和右视图进行特征提取，分别得到左视图和右视图的相应的特征图；
生成网络采用了编解码的结构，所述编码器通过两次下采样提取图像特征生成特征向量，所述解码器通过两次上采样生成缺失部分图像，得到修复后的图像。将所述编码器提取的特征输入注意力模块中，通过注意力模块学习左视图和右视图之间的对齐信息；所述融合模块将注意力模块的对齐信息与待修复区域特征融合，最后通过解码器输出修复后的左视图和右视图。
通过在编码器和解码器之间引入注意力机制和特征融合模块，一方面可以学习左视图和右视图之间的对齐信息，另一方面可加大对缺失部分的各个空洞区域的注意力，减少遗漏，提高图像修复的完成度。
S3、将所述生成对抗式立体图像修复网络模型与视差网络模型一起组成深度修复模型；
所述深度修复模型的网络结构如图2所示。
所述视差网络模型采用PSMNet的网络结构，用于求取修复完成的目标图像对的视差图，并用真值视差图监督求取的视差图的一致性。所述视差网络模型中，修复后的目标图像对首先经过两个权重共享的卷积神经网络提取各自的特征图，然后经过金字塔模块把全局上下文信息结合到特征图中，再用卷积层进行特征融合；左右视图的特征图构成一个四维的匹配代价，最后通过3维卷积神经网络来完成代价聚合和视差回归；真值视差图使用完整的立体图像对输入PSMNet得到。
所述深度修复模型还包括分别与左视图、右视图的解码器对应的判别器用于对生成器进行校准，所述判别器包括全局判别器和局部判别器；
左视图、右视图对应的全局判别器分别用于鉴别修复完成的左视图、右视图的完整图像进行损失判定，判断修复完成的完整图像是否符合要求；
左视图、右视图对应的局部判别器分别对修复完成的左视图、右视图的局部修复区域进行损失判定，判断局部修复区域的修复结果是否符合要求。本发明根据判别器的损失函数的返回结果修正生成器的参数值，最后训练得到可以修复图像的生成器，
S4、制作数据集并训练所述深度修复模型；
将缺陷图像对输入到所述深度修复模型中，所述深度修复模型的编码器对图相对进行特征提取，注意力模块对图相对的左视图和右视图之间的对齐信息进行学习，同时加大对缺失部分的各个空洞区域的注意力，特征融合模块对不同图像、不同层次的特征进行融合，最后经各自的编码器输出生成的图像，通过各自的判别器进行损失判定和校正，若是符合输出要求，则判定修复成功；否则，则判定修复失败，判别网络根据损失判定结果调整所述生成网络的网络参数，重新进行训练。输出的修复后的图像对再经视差网络模型计算视差，得到一致性较好的深度修复模型。
S5、通过训练后的深度修复模型对目标图像对进行深度修复，根据深度修复后的目标图像对进行室内场景三维重构。
本发明通过构建特征提取网络来学习同一场景下不同角度图像的特征，通过生成对抗机制进行图像生成，实现目标图像对的修复，基于视差网络模型求取修复完成后的目标图像对的视差，保证视差的一致性，从而根据视差进行场景三维重建，得到高精度的三维模型。
与所述方法实施例相对应，本发明还提出一种室内场景的三维重构系统，所述系统包括：
图像获取模块：通过立体相机获取室内场景的目标图像对；
模型建立模块：基于构建编码-解码结构的特征提取网络，引入注意力模块和特征融合模块，建立生成对抗式立体图像修复网络模型；将所述生成对抗式立体图像修复网络模型与视差网络模型一起组成深度修复模型；
模型训练模块：制作数据集并训练所述深度修复模型；
三维重构模块：通过训练后的深度修复模型对目标图像对进行深度修复，根据深度修复后的目标图像对进行室内场景三维重构。
以上方法实施例和系统实施例是对应的，系统实施例简述之处请参阅方法实施例即可。
本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：U盘、移动硬盘、只议存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度修复的室内场景三维重构方法，其特征在于，所述方法包括：
通过立体相机获取室内场景的目标图像对；
基于构建编码-解码结构的特征提取网络，引入注意力模块和特征融合模块，建立生成对抗式立体图像修复网络模型；
将所述生成对抗式立体图像修复网络模型与视差网络模型一起组成深度修复模型；
制作数据集并训练所述深度修复模型；
通过训练后的深度修复模型对目标图像对进行深度修复，根据深度修复后的目标图像对进行室内场景三维重构。
2.根据权利要求1所述基于深度修复的室内场景三维重构方法，其特征在于，所述编码-解码结构的特征提取网络包括编码器和解码器，所述编码器、注意力模块、特征融合模块和解码器共同组成一个生成器。
3.根据权利要求2所述基于深度修复的室内场景三维重构方法，其特征在于，所述编码器、解码器以基于门限机制的特征提取单元为基本单元分别对目标图像对中的左视图和右视图进行特征提取，分别得到左视图和右视图的相应的特征图；
所述编码器通过两次下采样提取图像特征生成特征向量，所述解码器通过两次上采样生成缺失部分图像，得到修复后的图像。
4.根据权利要求3所述基于深度修复的室内场景三维重构方法，其特征在于，将所述编码器提取的特征输入注意力模块中，通过注意力模块学习左视图和右视图之间的对齐信息；
所述融合模块将注意力模块的对齐信息与待修复区域特征融合，最后通过解码器输出修复后的左视图和右视图。
5.根据权利要求1所述基于深度修复的室内场景三维重构方法，其特征在于，所述视差网络模型采用PSMNet的网络结构，用于求取修复完成的目标图像对的视差图，并用真值视差图监督求取的视差图的一致性。
6.根据权利要求1所述基于深度修复的室内场景三维重构方法，其特征在于，其特征在于：所述深度修复模型还包括分别与左视图、右视图的解码器对应的判别器，所述判别器包括全局判别器和局部判别器；
所述全局判别器分别用于鉴别修复完成的左视图、右视图的完整图像进行损失判定，判断修复完成的完整图像是否符合要求；
所述局部判别器分别对修复完成的左视图、右视图的局部修复区域进行损失判定，判断局部修复区域的修复结果是否符合要求；。
7.一种基于深度修复的室内场景三维重构系统，其特征在于，所述系统包括：
图像获取模块：通过立体相机获取室内场景的目标图像对；
模型建立模块：基于构建编码-解码结构的特征提取网络，引入注意力模块和特征融合模块，建立生成对抗式立体图像修复网络模型；将所述生成对抗式立体图像修复网络模型与视差网络模型一起组成深度修复模型；
模型训练模块：制作数据集并训练所述深度修复模型；
三维重构模块：通过训练后的深度修复模型对目标图像对进行深度修复，根据深度修复后的目标图像对进行室内场景三维重构。
8.一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现权利要求1～6任一项所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现权利要求1～6任一项所述的方法。
CN202110739650.8A 2021-06-30 2021-06-30 一种基于深度修复的室内场景三维重构方法及系统 Withdrawn CN113538658A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110739650.8A CN113538658A (zh) 2021-06-30 2021-06-30 一种基于深度修复的室内场景三维重构方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110739650.8A CN113538658A (zh) 2021-06-30 2021-06-30 一种基于深度修复的室内场景三维重构方法及系统

Publications (1)

Publication Number Publication Date
CN113538658A true CN113538658A (zh) 2021-10-22

Family

ID=78126373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110739650.8A Withdrawn CN113538658A (zh) 2021-06-30 2021-06-30 一种基于深度修复的室内场景三维重构方法及系统

Country Status (1)

Country Link
CN (1) CN113538658A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063303A (zh) * 2022-05-18 2022-09-16 大连理工大学 一种基于图像修复的图像3d化方法
CN115273645A (zh) * 2022-08-09 2022-11-01 南京大学 一种室内面要素自动聚类的地图制图方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115063303A (zh) * 2022-05-18 2022-09-16 大连理工大学 一种基于图像修复的图像3d化方法
CN115273645A (zh) * 2022-08-09 2022-11-01 南京大学 一种室内面要素自动聚类的地图制图方法
CN115273645B (zh) * 2022-08-09 2024-04-09 南京大学 一种室内面要素自动聚类的地图制图方法

Similar Documents

Publication Publication Date Title
Javaheri et al. Subjective and objective quality evaluation of 3D point cloud denoising algorithms
CN108495110B (zh) 一种基于生成式对抗网络的虚拟视点图像生成方法
CN112132023A (zh) 基于多尺度上下文增强网络的人群计数方法
CN113538658A (zh) 一种基于深度修复的室内场景三维重构方法及系统
CN110766623A (zh) 一种基于深度学习的立体图像修复方法
CN110223251B (zh) 适用于人工与自然光源的卷积神经网络水下图像复原方法
CN110443874B (zh) 基于卷积神经网络的视点数据生成方法和装置
CN111476884B (zh) 基于单帧rgbd图像的实时三维人体重建方法及系统
CN111325693A (zh) 一种基于单视点rgb-d图像的大尺度全景视点合成方法
CN112990171B (zh) 图像处理方法、装置、计算机设备及存储介质
CN109949354B (zh) 一种基于全卷积神经网络的光场深度信息估计方法
Yuan et al. Multiview scene image inpainting based on conditional generative adversarial networks
CN112019828A (zh) 一种视频的2d到3d的转换方法
Jeong et al. Visual comfort assessment of stereoscopic images using deep visual and disparity features based on human attention
CN109598695B (zh) 一种基于深度学习网络的无参考图像模糊程度估计方法
Wang et al. Face aging on realistic photos by generative adversarial networks
CN115496925A (zh) 图像处理方法、设备、存储介质及程序产品
Xian et al. Any-shot gin: Generalizing implicit networks for reconstructing novel classes
CN111462211A (zh) 一种基于卷积神经网络的双目视差计算方法
CN114119424A (zh) 一种基于光流法和多视角场景的视频修复方法
CN111105451A (zh) 一种克服遮挡效应的驾驶场景双目深度估计方法
CN113160085B (zh) 一种基于生成对抗网络的水花遮挡图像数据集采集方法
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN111754561A (zh) 基于自监督深度学习的光场图像深度恢复方法及系统
CN114022381A (zh) 一种双目图像自修复网络模型的训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211022