CN110633628A - 基于人工神经网络的rgb图像场景三维模型重建方法 - Google Patents

基于人工神经网络的rgb图像场景三维模型重建方法 Download PDF

Info

Publication number
CN110633628A
CN110633628A CN201910711616.2A CN201910711616A CN110633628A CN 110633628 A CN110633628 A CN 110633628A CN 201910711616 A CN201910711616 A CN 201910711616A CN 110633628 A CN110633628 A CN 110633628A
Authority
CN
China
Prior art keywords
scene
dimensional
neural network
plane
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910711616.2A
Other languages
English (en)
Other versions
CN110633628B (zh
Inventor
颜成钢
付祖贤
邵碧尧
俞灵慧
孙垚棋
张继勇
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Taoyi Data Technology Co ltd
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201910711616.2A priority Critical patent/CN110633628B/zh
Publication of CN110633628A publication Critical patent/CN110633628A/zh
Application granted granted Critical
Publication of CN110633628B publication Critical patent/CN110633628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Abstract

本发明公开了一种基于人工神经网络的RGB图像场景三维模型重建方法。本发明使用人工神经网络模型对输入的图像进行处理，识别得到场景的二维拓扑结构和场景中物体的类别和形状，进一步对神经网络输出的特征图进行优化，该优化分为拓扑结构优化和物体识别优化两个模块进行；随后使用该信息迭代计算得到三维模型的参数，包括平面到相机中心距离、平面法向量；使用OpenGL进行三维模型渲染，利用原输入图像中的像素颜色对重建得到的三维平面进行颜色渲染，得到更接近输入图像中场景的三维模。本发明使用单目的RGB信息还原三维信息，减少硬件成本，使用优化算法求解得到场景中拓扑平面和构成物体平面的法向量和到相机中心距离。

Description

基于人工神经网络的RGB图像场景三维模型重建方法
技术领域
本发明属于计算机视觉、计算机图形学技术领域，特别地，本发明涉及一种基于人工神经网络的单张RGB图像场景三维模型重建方法。
背景技术
RGB图像是目前最广泛应用的媒体数据形式，可以快速捕捉，记录周围三维世界的信息。使用单张RGB图像重建图像中记录场景的三维模型，是计算机视觉与计算机图形学领域中一个重要且基础的问题，在人机交互，虚拟现实及增强现实等领域中有着非常广泛的应用。例如，在增强现实领域中，使用RGB相机拍摄了一张场景的二维图像，重建得到该场景的三维模型，可以方便地对场景三维模型进行编辑修改，通过虚拟的三维模型看到对场景进行改动后整体场景的呈现效果，给人类日常生活和工作的很多方面提供了便利。正是由于根据 RGB图像重建三维模型有着良好的应用前景，但目前仍存在较多问题需要克服，该基础课题研究具有较高的科研和应用价值。
然而根据RGB图像对重建场景的三维拓扑及场景中对象三维模型具有相当大的挑战性，主要瓶颈限制是缺乏潜在的场景三维信息，具体而言，缺少深度信息使得改变视角或合理地解决物体之间的遮挡遮挡和照明变化具有挑战性，这是对场景中物体进行对象级别操作所必需的，而场景中物体对场景墙面与地面，墙面与墙面，墙面与天花板之间交线存在较多遮挡，也为重建场景的三维拓扑增加了难度。
在计算机视觉领域，对复杂室内场景进行较好的布局识别和三维重建一直是一个重要但具有挑战性的问题。因此，本发明中的方法利用人工神经网络模型对室内场景进行布局识别和场景物体检测，克服传统方法在处理复杂场景时存在的不足，为三维重建提供较好的输入信息，使得可以重建得到更为精确的场景三维模型。
发明内容
本发明的目的是解决复杂室内场景下的场景拓扑结构三维重建和物体三维重建的问题。本发明提出了一种基于人工神经网络的RGB 图像场景三维模型重建方法，其特征在于使用人工神经网络模型对输入的图像进行处理，识别得到场景的二维拓扑结构和场景中物体的类别和形状，进一步对神经网络输出的特征图进行优化，该优化分为拓扑结构优化和物体识别优化两个模块进行；随后使用该信息迭代计算得到三维模型的参数，包括平面到相机中心距离、平面法向量；使用 OpenGL进行三维模型渲染，利用原输入图像中的像素颜色对重建得到的三维平面进行颜色渲染，得到更接近输入图像中场景的三维模型；
所述的二维拓扑结构是指地面与墙面、天花板与墙面、墙面与墙面之间的交线三类交线组成的结构。
本发明所述的一种基于人工神经网络的RGB图像场景三维模型重建方法，包括如下步骤：
步骤1.训练阶段：
用到两个人工神经网络模型，分别实现场景的二维拓扑结构识别和物体检测功能，需要分别进行训练；
二维拓扑结构识别的人工神经网络模型：
首先更改训练数据：原始数据集中对室内场景的三类交线进行标记，groundtruth中包含了地面与墙面、天花板与墙面、墙面与墙面之间的交线三类交线的标记数据，采用墙面与地面交线、墙面与墙面交线、墙面与天花板交线三类交线来定义室内场景的二维拓扑，从而将室内常见的二维拓扑识别看作是回归得到三类交线位置的问题；其中使用的数据集为LSUN；
其次设计神经网络并训练，实现对室内场景的二维拓扑识别；选择卷积残差神经网络作为网络的基本结构，为了使得网络能够输出矩阵，在网络的顶端用卷积层代替一般的全连接层，实现对室内场景的二维拓扑识别，输出为场景中三类交线的位置预测结果
物体检测的人工神经网络模型：
设计网络并训练，实现对室内场景的语义分割，从而检测到场景中物体的分布情况及轮廓；搭建人工神经网络模型，选择卷积残差神经网络和金字塔池化网络作为网络的基本结构，为了使得网络能够输出矩阵，在网络的顶端用卷积层代替一般的全连接层，实现对室内场景的语义分割；输入数据为普通RGB图片，对应的ground truth为输入图片中的场景人工语义分割的结果，网络输出结果与ground truth 之间进行比较，运用梯度下降的方法求得较好的网络权值，得到的模型能够对室内场景中的物体进行37类的分类，网络输出结果为w*h *37的矩阵，每个通道对应一类物体在该场景中存在概率，取每个像素对应的37维概率向量中最大值所在通道作为汇总结果中该像素的类别，最终可得到该场景的语义分割结果，从而检测到场景中物体的分布情况及轮廓；
步骤2.用步骤1中得到的模型对输入的RGB图像进行处理，得到输入图像中场景的二维拓扑识别特征图和物体识别特征图，对特征图进行优化，过滤其中的噪声，得到场景二维拓扑的节点像素坐标和场景中物体外观轮廓的坐标及其物体类别标签；
步骤3.对室内场景的拓扑结构和物体进行重建；
步骤4.使用OpenGL进行三维模型渲染，三维模型表面像素颜色为原输入图像中场景拓扑平面和物体的颜色，较为真实地渲染得到场景的三维模型。
步骤3所述的对室内场景的拓扑结构和物体进行重建，其相关约束条件如下：
①相机光轴方向平行于地面；
②拍摄的场景为曼哈顿世界，相邻平面两两垂直，场景中物体为规则物体；
③该视频帧序列通过透视投影获得，使用具有固有矩阵K的拍摄设备；点Q为相机坐标系下的一点，点q为像素坐标系下的一点，点 Q映射到点q满足如下公式：
Qi＝λK-1qi
其中，λ为转换系数，点Q坐标表示，点q坐标表示以及转换矩阵K分别表示如下：
Figure BDA0002153971050000041
其中，f为相机的焦距，Δu和Δv为像平面坐标系转为像素坐标系的转换。
平面法向量和平面到相机中心的距离满足：
dp＝npQi＝npλK-1qi；
其中，np为平面法向量。
利用步骤2中得到的场景二维拓扑节点坐标和物体外观轮廓节点坐标，利用曼哈顿世界相邻平面两两垂直，利用空间中一点在像素坐标系下存在唯一投影进行约束，优化得到输入图像中组成场景拓扑平面和组成场景中物体平面的三维信息，经OpenGL渲染后即为该帧图像对应的三维平面。
本发明的特点及有益效果：
本发明实现了一种基于人工神经网络的单张RGB图像场景三维模型重建方法，对室内场景下的重建，识别等计算机视觉任务有重大意义。本发明中的方法优势如下
1.利用人工神经网络模型完成室内场景下的布局识别和物体识别任务，提高系统对复杂场景的处理能力；
2.完全自动地识别场景中的拓扑结构和物体外观轮廓，无需人工参与；
3.使用单目的RGB信息还原三维信息，减少硬件成本，使用优化算法求解得到场景中拓扑平面和构成物体平面的法向量和到相机中心距离。
此技术可以在普通PC机或工作站等硬件系统上实现。
附图说明
图1为本发明方法总体流程图。
图2为按照平面分类存在语义歧义的情况举例。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1和2所示，基于人工神经网络的RGB图像场景三维模型重建方法，包括如下实现步骤：
步骤1.训练阶段：
方法中用到两个人工神经网络模型，分别实现场景的二维拓扑结构识别和物体检测功能，需要分别进行训练。
更改训练数据：原始数据集中对室内场景的三类交线进行标记， ground truth中包含了地面与墙面，天花板与墙面，墙面与墙面之间的交线三类交线的标记数据，但三类交线的像素点数量远远少于背景像素的数量，造成训练数据的不平衡(data unbalance),增加训练过程的难度。目前常用的数据集也有通过地面，天花板和三类墙面(左边，中间和右边)对室内场景的二维拓扑进行定义。这这种定义方式不存在训练数据不平衡的情况，不同平面的像素数量分布基本均衡，但它存在的问题是在某些情况下墙面的语义会出现歧义如图2所示，在场景中出现两面墙的情况下，该种拓扑结构定义方式无法唯一确定两面墙的语义，可以理解为中间墙面和左边墙面，中间墙面和右边墙面，亦或者是左边墙面和右边墙面。综合考虑，本发明工作采用墙面与地面交线，墙面与墙面交线和墙面与天花板交线三类交线来定义室内场景的二维拓扑，为了避免训练数据不平衡带来的训练困难，文中将室内常见的二维拓扑识别看作是回归得到三类交线位置的问题。
用于二维拓扑结构识别的人工神经网络模型Ⅰ：
选择卷积残差神经网络作为网络的基本结构，为了使得网络可以输出矩阵，在网络的顶端用若干卷积层代替一般的全连接层，实现对室内场景的二维拓扑识别，输出为场景中三类交线的位置预测结果
用于物体检测的人工神经网络模型Ⅱ：
选择卷积残差神经网络和金字塔池化网络作为网络的基本结构，为了使得网络能够输出矩阵，在网络的顶端用若干卷积层代替一般的全连接层，实现对室内场景的语义分割。输入数据为普通RGB图片，对应的groundtruth为输入图片中的场景人工语义分割的结果，网络输出结果与groundtruth之间进行比较，运用梯度下降的方法求得较好的网络权值，得到的模型能够对室内场景中的物体进行37类的分类，网络输出结果为w*h*37的矩阵，每个通道对应一类物体在该场景中存在概率，取每个像素对应的37维概率向量中最大值所在通道作为汇总结果中该像素的类别，最终可以得到该场景的语义分割结果，从而检测到场景中物体的分布情况及轮廓；
步骤2.用步骤1中得到的模型对输入的RGB图像进行处理，得到输入图像中场景的二维拓扑识别特征图和物体识别特征图，对特征图进行优化，过滤其中包含的部分噪声，得到场景二维拓扑的节点像素坐标和场景中物体外观轮廓的坐标及其物体类别标签。
步骤3.基于相关约束对室内场景的拓扑结构和物体进行重建，相关约束条件如下：
①相机光轴方向平行于地面；
②拍摄的场景为曼哈顿世界，相邻平面两两垂直，场景中物体为规则物体；
③该视频帧序列通过透视投影获得，使用具有固有矩阵K的拍摄设备；点Q为相机坐标系下的一点，点q为像素坐标系下的一点，点 Q映射到点q满足如下公式：
Qi＝λK-1qi
其中，λ为转换系数，点Q坐标表示，点q坐标表示以及转换矩阵K分别表示如下：
Figure BDA0002153971050000071
其中，f为相机的焦距，Δu和Δv为像平面坐标系转为像素坐标系的转换；
平面法向量和平面到相机中心距离满足：
dp＝npQi＝npλK-1qi
利用步骤2中得到的场景二维拓扑节点坐标和物体外观轮廓节点坐标，利用曼哈顿世界相邻平面两两垂直，利用空间中一点在像素坐标系下存在唯一投影进行约束，优化得到输入图像中组成场景拓扑平面和组成场景中物体平面的三维信息(平面单位法向量和该平面到相机中心距离)，经OpenGL渲染后即为该帧图像对应的三维平面。
步骤4.使用OpenGL进行三维模型渲染，三维模型表面像素颜色为原输入图像中场景拓扑平面和物体的颜色，较为真实地渲染得到场景的三维模型。

Claims (3)

1.基于人工神经网络的RGB图像场景三维模型重建方法，其特征在于使用人工神经网络模型对输入的图像进行处理，识别得到场景的二维拓扑结构和场景中物体的类别和形状，进一步对神经网络输出的特征图进行优化，该优化分为拓扑结构优化和物体识别优化两个模块进行；随后使用该信息迭代计算得到三维模型的参数，包括平面到相机中心距离、平面法向量；使用OpenGL进行三维模型渲染，利用原输入图像中的像素颜色对重建得到的三维平面进行颜色渲染，得到更接近输入图像中场景的三维模型；
所述的二维拓扑结构是指地面与墙面、天花板与墙面、墙面与墙面之间的交线三类交线组成的结构。
2.根据权利要求1所述的一种基于人工神经网络的RGB图像场景三维模型重建方法，其特征在于包括如下步骤：
步骤1.训练阶段：
用到两个人工神经网络模型，分别实现场景的二维拓扑结构识别和物体检测功能，需要分别进行训练；
二维拓扑结构识别的人工神经网络模型：
首先更改训练数据：原始数据集中对室内场景的三类交线进行标记，ground truth中包含了地面与墙面、天花板与墙面、墙面与墙面之间的交线三类交线的标记数据，采用墙面与地面交线、墙面与墙面交线、墙面与天花板交线三类交线来定义室内场景的二维拓扑，从而将室内常见的二维拓扑识别看作是回归得到三类交线位置的问题；其中使用的数据集为LSUN；
其次设计神经网络并训练，实现对室内场景的二维拓扑识别；选择卷积残差神经网络作为网络的基本结构，为了使得网络能够输出矩阵，在网络的顶端用卷积层代替一般的全连接层，实现对室内场景的二维拓扑识别，输出为场景中三类交线的位置预测结果
物体检测的人工神经网络模型：
设计网络并训练，实现对室内场景的语义分割，从而检测到场景中物体的分布情况及轮廓；搭建人工神经网络模型，选择卷积残差神经网络和金字塔池化网络作为网络的基本结构，为了使得网络能够输出矩阵，在网络的顶端用卷积层代替一般的全连接层，实现对室内场景的语义分割；输入数据为普通RGB图片，对应的ground truth为输入图片中的场景人工语义分割的结果，网络输出结果与ground truth之间进行比较，运用梯度下降的方法求得较好的网络权值，得到的模型能够对室内场景中的物体进行37类的分类，网络输出结果为w*h*37的矩阵，每个通道对应一类物体在该场景中存在概率，取每个像素对应的37维概率向量中最大值所在通道作为汇总结果中该像素的类别，最终可得到该场景的语义分割结果，从而检测到场景中物体的分布情况及轮廓；
步骤2.用步骤1中得到的模型对输入的RGB图像进行处理，得到输入图像中场景的二维拓扑识别特征图和物体识别特征图，对特征图进行优化，过滤其中的噪声，得到场景二维拓扑的节点像素坐标和场景中物体外观轮廓的坐标及其物体类别标签；
步骤3.对室内场景的拓扑结构和物体进行重建；
步骤4.使用OpenGL进行三维模型渲染，三维模型表面像素颜色为原输入图像中场景拓扑平面和物体的颜色，较为真实地渲染得到场景的三维模型。
3.根据权利要求2所述的一种基于人工神经网络的RGB图像场景三维模型重建方法，其特征在于步骤3所述的对室内场景的拓扑结构和物体进行重建，其相关约束条件如下：
①相机光轴方向平行于地面；
②拍摄的场景为曼哈顿世界，相邻平面两两垂直，场景中物体为规则物体；
③该视频帧序列通过透视投影获得，使用具有固有矩阵K的拍摄设备；点Q为相机坐标系下的一点，点q为像素坐标系下的一点，点Q映射到点q满足如下公式：
Qi＝λK-1qi
其中，λ为转换系数，点Q坐标表示，点q坐标表示以及转换矩阵K分别表示如下：
Figure FDA0002153971040000031
其中，f为相机的焦距，Δu和Δv为像平面坐标系转为像素坐标系的转换；
平面法向量和平面到相机中心距离满足：
dp＝mpQi＝npλK-1qi；
利用步骤2中得到的场景二维拓扑节点坐标和物体外观轮廓节点坐标，利用曼哈顿世界相邻平面两两垂直，利用空间中一点在像素坐标系下存在唯一投影进行约束，优化得到输入图像中组成场景拓扑平面和组成场景中物体平面的三维信息，经OpenGL渲染后即为该帧图像对应的三维平面。
CN201910711616.2A 2019-08-02 2019-08-02 基于人工神经网络的rgb图像场景三维模型重建方法 Active CN110633628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910711616.2A CN110633628B (zh) 2019-08-02 2019-08-02 基于人工神经网络的rgb图像场景三维模型重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910711616.2A CN110633628B (zh) 2019-08-02 2019-08-02 基于人工神经网络的rgb图像场景三维模型重建方法

Publications (2)

Publication Number Publication Date
CN110633628A true CN110633628A (zh) 2019-12-31
CN110633628B CN110633628B (zh) 2022-05-06

Family

ID=68969577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910711616.2A Active CN110633628B (zh) 2019-08-02 2019-08-02 基于人工神经网络的rgb图像场景三维模型重建方法

Country Status (1)

Country Link
CN (1) CN110633628B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340938A (zh) * 2020-02-21 2020-06-26 贝壳技术有限公司 用于获得房屋布局信息的方法、网络模型训练方法及装置
CN111462299A (zh) * 2020-03-02 2020-07-28 清华大学 基于深度学习的非视域飞秒成像三维重建方法及装置
CN111739159A (zh) * 2020-06-29 2020-10-02 上海商汤智能科技有限公司 三维模型生成方法、神经网络生成方法及装置
CN112261421A (zh) * 2020-10-12 2021-01-22 Oppo广东移动通信有限公司 虚拟现实的显示方法、装置、电子设备及存储介质
CN114742971A (zh) * 2022-04-06 2022-07-12 电子科技大学 一种基于线框表示的平面检测方法
CN115937679A (zh) * 2022-12-09 2023-04-07 上海人工智能创新中心 神经辐射场的物体和布局提取方法和装置
CN116152417A (zh) * 2023-04-19 2023-05-23 北京天图万境科技有限公司 一种多视点类透视空间拟合与渲染的方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855658A (zh) * 2012-07-17 2013-01-02 天津大学 基于气象雷达基数据三维重构方法
US20160189381A1 (en) * 2014-10-27 2016-06-30 Digimarc Corporation Signal detection, recognition and tracking with feature vector transforms
CN105934915A (zh) * 2014-12-30 2016-09-07 华为技术有限公司 云计算网络中设备负载状态展示方法与装置
CN107610221A (zh) * 2017-09-11 2018-01-19 南京大学 一种基于同构模型表示的三维模型生成方法
CN108648224A (zh) * 2018-05-18 2018-10-12 杭州电子科技大学 一种基于人工神经网络的实时场景布局识别及重建的方法
CN108765548A (zh) * 2018-04-25 2018-11-06 安徽大学 基于深度相机的三维场景实时重建方法
CN108961395A (zh) * 2018-07-03 2018-12-07 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN109360232A (zh) * 2018-09-10 2019-02-19 南京邮电大学 基于条件生成对抗网络的室内场景布局估计方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855658A (zh) * 2012-07-17 2013-01-02 天津大学 基于气象雷达基数据三维重构方法
US20160189381A1 (en) * 2014-10-27 2016-06-30 Digimarc Corporation Signal detection, recognition and tracking with feature vector transforms
CN105934915A (zh) * 2014-12-30 2016-09-07 华为技术有限公司 云计算网络中设备负载状态展示方法与装置
CN107610221A (zh) * 2017-09-11 2018-01-19 南京大学 一种基于同构模型表示的三维模型生成方法
CN108765548A (zh) * 2018-04-25 2018-11-06 安徽大学 基于深度相机的三维场景实时重建方法
CN108648224A (zh) * 2018-05-18 2018-10-12 杭州电子科技大学 一种基于人工神经网络的实时场景布局识别及重建的方法
CN108961395A (zh) * 2018-07-03 2018-12-07 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN109360232A (zh) * 2018-09-10 2019-02-19 南京邮电大学 基于条件生成对抗网络的室内场景布局估计方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YING CHEN等: "A symbolic approach to reconstruct polyhedral scene from single 2D line drawing", 《2008 IEEE CONFERENCE ON CYBERNETICS AND INTELLIGENT SYSTEMS》 *
何华等: "基于二维投影的散乱点云曲面重建", 《北京测绘》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340938A (zh) * 2020-02-21 2020-06-26 贝壳技术有限公司 用于获得房屋布局信息的方法、网络模型训练方法及装置
CN111462299A (zh) * 2020-03-02 2020-07-28 清华大学 基于深度学习的非视域飞秒成像三维重建方法及装置
CN111462299B (zh) * 2020-03-02 2022-07-19 清华大学 基于深度学习的非视域飞秒成像三维重建方法及装置
CN111739159A (zh) * 2020-06-29 2020-10-02 上海商汤智能科技有限公司 三维模型生成方法、神经网络生成方法及装置
CN112261421A (zh) * 2020-10-12 2021-01-22 Oppo广东移动通信有限公司 虚拟现实的显示方法、装置、电子设备及存储介质
CN112261421B (zh) * 2020-10-12 2022-11-15 Oppo广东移动通信有限公司 虚拟现实的显示方法、装置、电子设备及存储介质
CN114742971A (zh) * 2022-04-06 2022-07-12 电子科技大学 一种基于线框表示的平面检测方法
CN115937679A (zh) * 2022-12-09 2023-04-07 上海人工智能创新中心 神经辐射场的物体和布局提取方法和装置
CN116152417A (zh) * 2023-04-19 2023-05-23 北京天图万境科技有限公司 一种多视点类透视空间拟合与渲染的方法和装置

Also Published As

Publication number Publication date
CN110633628B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN110633628B (zh) 基于人工神经网络的rgb图像场景三维模型重建方法
CN108921926B (zh) 一种基于单张图像的端到端三维人脸重建方法
CN111986307A (zh) 使用光度网格表示的3d对象重建
CN108648224B (zh) 一种基于人工神经网络的实时场景布局识别及重建的方法
CN109509211B (zh) 同时定位与建图技术中的特征点提取与匹配方法及系统
CN108876814B (zh) 一种生成姿态流图像的方法
US11875583B2 (en) Dataset generation method for self-supervised learning scene point cloud completion based on panoramas
CN110827295A (zh) 基于体素模型与颜色信息耦合的三维语义分割方法
da Silveira et al. 3d scene geometry estimation from 360 imagery: A survey
Sun et al. Ssl-net: Point-cloud generation network with self-supervised learning
CN116391206A (zh) 采用神经渲染的立体表演捕获
CN115205463A (zh) 基于多球面场景表达的新视角图像生成方法、装置和设备
Yuan et al. Presim: A 3d photo-realistic environment simulator for visual ai
Yin et al. Virtual reconstruction method of regional 3D image based on visual transmission effect
Neverova et al. 2 1/2 D scene reconstruction of indoor scenes from single RGB-D images
Meyer et al. PEGASUS: Physically Enhanced Gaussian Splatting Simulation System for 6DOF Object Pose Dataset Generation
Skuratovskyi et al. Outdoor mapping framework: from images to 3d model
CN114491697A (zh) 一种基于深度学习的树木点云补全方法
Cui et al. 3D reconstruction with spherical cameras
CN113284249A (zh) 一种基于图神经网络的多视角三维人体重建方法及系统
Meng et al. Distortion-aware room layout estimation from a single fisheye image
Lyra et al. Development of an efficient 3D reconstruction solution from permissive open-source code
Kriegler et al. Evaluation of monocular and stereo depth data for geometry-assisted learning of 3D pose
CN115984462B (zh) 一种单目多视角的通用物体三维建模方法
CN116740300B (zh) 一种基于多模态的素体与纹理融合家具模型重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220826

Address after: Room 405, No. 6-8, Jiaogong Road, Xihu District, Jiaxing City, Zhejiang Province, 310013

Patentee after: Hangzhou Taoyi Data Technology Co.,Ltd.

Address before: 310018 No. 2 street, Xiasha Higher Education Zone, Hangzhou, Zhejiang

Patentee before: HANGZHOU DIANZI University