CN110827295A - 基于体素模型与颜色信息耦合的三维语义分割方法 - Google Patents
基于体素模型与颜色信息耦合的三维语义分割方法 Download PDFInfo
- Publication number
- CN110827295A CN110827295A CN201911051686.6A CN201911051686A CN110827295A CN 110827295 A CN110827295 A CN 110827295A CN 201911051686 A CN201911051686 A CN 201911051686A CN 110827295 A CN110827295 A CN 110827295A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- information
- features
- voxel
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000008878 coupling Effects 0.000 title claims abstract description 12
- 238000010168 coupling process Methods 0.000 title claims abstract description 12
- 238000005859 coupling reaction Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000005516 engineering process Methods 0.000 claims abstract description 6
- 239000000284 extract Substances 0.000 claims abstract description 6
- 230000010365 information processing Effects 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 230000003993 interaction Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明所述基于体素模型与颜色信息耦合的三维语义分割方法，由三维CNN网络提取三维TSDF体素信息并结合三维重建过程中采集到的RGB图像，通过通道信息融合策略而直接实现端到端的三维语义分割，从而实现为三维重建技术之后的相关AR应用提供有力支持。三维语义分割方法包括有以下实施阶段：1)、二维RGB图像处理阶段；2)、三维TSDF体素模型处理阶段；3)、双通道信息融合及三维信息处理阶段。对于二维及三维信息进行融合；利用三维卷积神经网络进行最终的特征提取，从而得到最终的体素级别语义分割结果。
Description
技术领域
本发明涉及一种应用于计算机视觉领域的新型三维语义分割方法，属于虚拟现实技术领域。
背景技术
目前利用深度学习实现的语义分割方法，主要分为基于RGB图像的二维分割与针对点云基于三维模型的语义分割。
基于二维RGB图像处理的准确率较高，但是由于二维单目相机尺度的不确定性，二维图像先天性地缺少了相关物体的深度信息，而且二维RGB图像易受到光照条件等因素的影响，使得整体分割方法具有较为明显的局限性，难以充分综合利用图像的各方面特征信息。
现在较为流行的三维语义分割方法，基于点云处理时的噪声较大、且点云具有无序性以及旋转不确定性等缺点，使得相关的点云语义分割方法虽然能一定程度上利用了空间深度信息，但是语义分割的效果仍然不尽如人意，无法满足多层次的VR、AR应用的需求，无法向VR、AR设备提供足够的场景交互支持。
当前较为常见的基于深度相机的三维重建技术，在三维重建后仅生成了场景的mesh模型而缺少相应的场景语义信息，使得用户与场景的交互受限。同时，三维重建技术中所生成的场景模型却存储于TSDF体素模型中，此类针对体素级语义分割方法的缺失，直接造成了现有三维重建模型的语义分割障碍。
有鉴于此，特提出本专利申请。
发明内容
本发明所述基于体素模型与颜色信息耦合的三维语义分割方法，其目的在于解决上述现有技术存在的问题而基于三维CNN网络提取三维TSDF体素信息，结合三维重建过程中采集到的RGB图像，通过通道信息融合策略而直接实现端到端的三维语义分割，从而实现为三维重建技术之后的相关AR应用提供有力支持。
为实现上述发明目的，本申请所述的三维语义分割方法，主要采取三维卷积神经网络与二维卷积神经网络相耦合的方式，由三维卷积神经网络处理三维TSDF体素信息，由二维卷积神经网络处理二维的RGB图像信息，利用attention机制将二维与三维通道的信息融合并提取有效特征。并且，在二维通道中，对多视角下的RGB特征进行加权融合，以提高了多层次信息的利用率。
基于体素模型与颜色信息耦合的三维语义分割方法主要包括有以下实施阶段：
1)、二维RGB图像处理阶段
针对于多个视角下的RGB图像，将多视角下的RGB图像送入backbone网络中，提取高维度图像二维特征信息；
获得当前帧映射到世界坐标系下的相机姿态信息；
利用RGB通道选择模块对于不同视角下的RGB二维特征赋予不同的权重；
2)、三维TSDF体素模型处理阶段
首先，进行前端三维模型重建；
其次，采取符号距离函数对整个TSDF体素模型进行计算；
然后，使用残差模块初步提取三维特征；
将处理后的TSDF体素模型数据与上述经过RGB通道选择模块提取后的特征，均利用残差模块进行处理，以初步提取其相关的三维特征；
3)、双通道信息融合及三维信息处理阶段
对于二维及三维信息进行融合；
利用三维卷积神经网络进行最终的特征提取，从而得到最终的体素级别语义分割结果。
进一步地，所述的二维RGB图像处理阶段，在获得当前帧映射到世界坐标系下的相机姿态信息中，利用三维重建或者SFM技术通过多视角几何方法进行计算。
在所述的RGB通道选择模块中，首先，将输入特征进行全局池化；然后，将全局池化后的结果利用1*1大小的卷积层进一步提取特征；之后，利用batch normalization规范化特征的相关分布；最后，通过sigmoid激活函数处理，得到该模块提取出来的不同视角RGB特征的权重，并与输入特征进行点乘操作，得到输入特征加权后的结果。
进一步地，所述的三维TSDF体素模型处理阶段，在前端三维重建过程中，将输入的RGB图像中的depth信息融入到TSDF模型中，以作为本申请所采用三维网络的输入。
在残差模块中，首先，将输入特征首先通过1*1的卷积层进行降维，以减少整个模型的参数量、加速模型训练，并经过ReLU激活函数激活后送入3*3的卷积层进行特征提取；然后，利用1*1的卷积层进行升维恢复到原始的维度；最后，将输入特征与升维后的特征相加得到残差模块处理后的特征。
进一步地，所述的双通道信息融合及三维信息处理阶段，在双通道信息融合模块中，首先，将RGB特征以及体素特征叠加在一起；然后，利用常用的3*3的卷积层+bacthnormalization+ReLU激活函数，针对叠加后的信息进行初步的信息提取；之后，进行全局池化，提取全局特征，通过1*1卷积层+ReLU激活函数+1*1卷积层进行进一步处理；最后，利用sigmoid激活函数得到各个特征通道相应的权重，与3*3卷积层处理后的特征点乘得到加权后的特征，再与未加权的特征相加得到双通道信息融合后所提取到的特征信息。
综上，本申请所述三维语义分割方法具有的优点是：针对三维重建结果进行了后续针对性处理，通过利用三维重建过程中的颜色图、深度图、相机姿态以及最终的模型结果，实现了端到端的三维语义分割。通过通道信息融合，利用二维以及三维的多维度信息和注意力机制设计的通道选择模块，增加不同权重作为最终语义分割结果提供有效、直接和全面的指导。最终为三维重建的模型处理后提供了体素级别的标签，可以为空间中每一个位置分类，从而不仅能得到室内场景模型，而且知道模型每一部分是什么物体，为之后的相关AR交互应用提供了方便。
附图说明
图1是三维语义分割方法流程示意图；
图2是RGB通道选择模块示意图；
图3是前端三维重建流程示意图；
图4是二维TSDF模型示意图；
图5是残差模块示意图；
图6是双通道信息融合模块示意图；
图7是卧室内部场景三维模型示意图；
图8是卧室内部场景语义分割结果示意图；
图9是客厅内部场景三维模型示意图；
图10是客厅内部场景语义分割结果示意图。
具体实施方式
下面结合附图和实施示例对本发明作进一步详细地描述。
本申请所述基于体素模型与颜色信息耦合的三维语义分割方法，利用三维卷积神经网络提取TSDF体素信息，能够较好地将场景内的物体识别分割出来。但由于三维重建后得到的TSDF模型中的数据为稀疏结构，并不利于三维卷积神经网络的学习，因此采取对符号距离函数进行扩展计算以得到每个像素的值，以提高三维卷积神经网络对体素模型的提取效率，最终获得每个体素都带有语义标签的模型结果，从而实现用户与环境的更大自由度的场景交互。
如图1所示的三维语义分割方法流程示意图，所述的三维语义分割方法主要包括有以下实施阶段：
1、二维RGB图像处理阶段
针对于多个视角下的RGB图像，可采取多种高效提取图像特征的网络结构设计，如VGG网络、ResNet网络、MobileNet系列网络、ShuffleNet系列网络以及Xception网络等。
首先，将多视角下的RGB图像送入这些成熟的backbone网络中，快速提取其相关的高维度图像特征，为整体的语义分割网络提供有效的二维特征信息。
其次，利用三维重建或者SFM技术，通过多视角几何方法计算获得当前帧到世界坐标系下的相机姿态信息，建立当前帧映射到世界坐标系下的投影。
最后，利用RGB通道选择模块对于不同视角下的RGB二维特征赋予不同的权重，以更好地支持卷积神经网络的优化方向，得到更加准确的结果并加速后续的迭代过程。
如图2所示的RGB通道选择模块示意图。
在RGB通道选择模块中，首先，将输入特征进行全局池化；然后，将全局池化后的结果利用1*1大小的卷积层进一步提取特征；之后，利用batch normalization规范化特征的相关分布；最后，通过sigmoid激活函数处理，得到该模块提取出来的不同视角RGB特征的权重，并与输入特征进行点乘操作，得到输入特征加权后的结果。
2、三维TSDF体素模型处理阶段
首先，前端三维重建。
如图3所示的前端三维重建流程示意图，将输入的RGB图像中的depth信息融入到TSDF模型中，以作为本申请所采用三维网络的输入。即先将RGB图像作为二维网络的输入以计算得到的每一帧相机姿态，再从二维网络到三维网络进行映射的变换。
其次，采取符号距离函数对整个TSDF体素模型进行计算。
由于在三维重建后获得的TSDF模型为截断符号距离函数，在空间中具有稀疏结构的特点，因此采取符号距离函数针对整个体素模型进行计算，以得到整个空间的稠密数据，从而方便三维卷积神经网络的应用。
如图4所示的是二维TSDF模型，而三维网络输入的是三维重建完成后得到的三维TSDF模型，TSDF模型网格中的数值代表离重建场景表面的距离，网格中从正到负的穿越点代表重建的表面。
然后，使用残差模块初步提取三维特征。
即将处理后的TSDF体素模型数据与上述经过RGB通道选择模块提取后的特征，均利用残差模块进行处理，以初步提取其相关的三维特征。
如图5所示的残差模块示意图。
首先，残差模块将输入特征首先通过1*1的卷积层进行降维，以减少整个模型的参数量、加速模型训练，并经过ReLU激活函数激活后送入3*3的卷积层进行特征提取；
然后，利用1*1的卷积层进行升维恢复到原始的维度；
最后，将输入特征与升维后的特征相加得到残差模块处理后的特征。
由于残差模块引入了高速通路，从而解决了当网络加深时的梯度消失问题，能够保障本申请所述方法所涉及的端到端的网络结构训练最终结果，可以有效地收敛到可靠点附近。
3、双通道信息融合及三维信息处理阶段
采用如图6所示的双通道信息融合模块，对于上述两个层次的信息进行有效融合；双通道信息融合之后，利用三维卷积神经网络进行最终的特征提取，从而得到最终的体素级别语义分割结果。
在双通道信息融合模块中，首先，将RGB特征以及体素特征叠加在一起；然后，利用常用的3*3的卷积层+bacth normalization+ReLU激活函数，针对叠加后的信息进行初步的信息提取；之后，进行全局池化，提取全局特征，通过1*1卷积层+ReLU激活函数+1*1卷积层进行进一步处理；最后，利用sigmoid激活函数得到各个特征通道相应的权重，与3*3卷积层处理后的特征点乘得到加权后的特征，再与未加权的特征相加得到双通道信息融合后所提取到的特征信息。
双通道信息融合之后的三维卷积神经网络，由于其参数过于庞大、并且之前已经提取到了较多且有用的空间特征信息，因此本申请所采用的三维卷积神经网络，具有1*1卷积降维、3*3卷积提取特征、1*1卷积升维的结构特征。通过上述两个堆叠模块仍可较好地执行体素级别语义分割操作。
4、关于损失函数
本申请所述分割方法采用如下语义分割网路中常用的交叉熵：
其中，yi为期望的输出，yi_为实际的输出，由于我们的输出结果为one-hot标签，因而只有正确的期望输出为1，其他均为0，loss即可简化为：
lossi＝-log(yi_)
通过上述交叉熵来计算概率分布，以计算预测标签的概率分布与真实标签的概率分布之间的距离，从而得到语义分割的损失函数。利用Adam算法进行梯度下降可降低整体网络loss，从而得到网络模型总体参数。
再结合以下具体的分割实例进行更为形象地对比说明。
如图7所示的卧室内部场景三维模型示意图，如图9所示的客厅内部场景三维模型示意图。
首先，使用tof相机利用基于TSDF的三维重建方法针对于室内场景完成模型重建以及纹理贴图；
然后，将重建完成的TSDF模型、重建时的相机姿态、深度图以及颜色图送入本申请所述的深度学习网络中，即可以立刻得到TSDF模型中每个体素级别的语义信息。
如图8所示的卧室内部场景语义分割结果示意图，如图10所示的客厅内部场景语义分割结果示意图，可以清晰地识别出来建模模型中哪一块属于卧室中的沙发，哪一块属于卧室中的电视等等。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (6)
1.一种基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：包括以下实施阶段，
1)、二维RGB图像处理阶段
针对于多个视角下的RGB图像，将多视角下的RGB图像送入backbone网络中，提取高维度图像二维特征信息；
获得当前帧映射到世界坐标系下的相机姿态信息；
利用RGB通道选择模块对于不同视角下的RGB二维特征赋予不同的权重；
2)、三维TSDF体素模型处理阶段
首先，进行前端三维模型重建；
其次，采取符号距离函数对整个TSDF体素模型进行计算；
然后，使用残差模块初步提取三维特征；
将处理后的TSDF体素模型数据与上述经过RGB通道选择模块提取后的特征，均利用残差模块进行处理，以初步提取其相关的三维特征；
3)、双通道信息融合及三维信息处理阶段
对于二维及三维信息进行融合；
利用三维卷积神经网络进行最终的特征提取，从而得到最终的体素级别语义分割结果。
2.根据权利要求1所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的二维RGB图像处理阶段，在获得当前帧映射到世界坐标系下的相机姿态信息中，利用三维重建或者SFM技术通过多视角几何方法进行计算。
3.根据权利要求1或2所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的二维RGB图像处理阶段，在所述的RGB通道选择模块中，首先，将输入特征进行全局池化；然后，将全局池化后的结果利用1*1大小的卷积层进一步提取特征；之后，利用batch normalization规范化特征的相关分布；最后，通过sigmoid激活函数处理，得到该模块提取出来的不同视角RGB特征的权重，并与输入特征进行点乘操作，得到输入特征加权后的结果。
4.根据权利要求1所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的三维TSDF体素模型处理阶段，在前端三维重建过程中，将输入的RGB图像中的depth信息融入到TSDF模型中，以作为本申请所采用三维网络的输入。
5.根据权利要求4所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的三维TSDF体素模型处理阶段，首先，残差模块将输入特征首先通过1*1的卷积层进行降维，以减少整个模型的参数量、加速模型训练，并经过ReLU激活函数激活后送入3*3的卷积层进行特征提取；然后，利用1*1的卷积层进行升维恢复到原始的维度；最后，将输入特征与升维后的特征相加得到残差模块处理后的特征。
6.根据权利要求1所述的基于体素模型与颜色信息耦合的三维语义分割方法，其特征在于：所述的双通道信息融合及三维信息处理阶段，在双通道信息融合模块中，首先，将RGB特征以及体素特征叠加在一起；然后，利用常用的3*3的卷积层+bacth normalization+ReLU激活函数，针对叠加后的信息进行初步的信息提取；之后，进行全局池化，提取全局特征，通过1*1卷积层+ReLU激活函数+1*1卷积层进行进一步处理；最后，利用sigmoid激活函数得到各个特征通道相应的权重，与3*3卷积层处理后的特征点乘得到加权后的特征，再与未加权的特征相加得到双通道信息融合后所提取到的特征信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911051686.6A CN110827295A (zh) | 2019-10-31 | 2019-10-31 | 基于体素模型与颜色信息耦合的三维语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911051686.6A CN110827295A (zh) | 2019-10-31 | 2019-10-31 | 基于体素模型与颜色信息耦合的三维语义分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110827295A true CN110827295A (zh) | 2020-02-21 |
Family
ID=69551660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911051686.6A Pending CN110827295A (zh) | 2019-10-31 | 2019-10-31 | 基于体素模型与颜色信息耦合的三维语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827295A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476242A (zh) * | 2020-03-31 | 2020-07-31 | 北京经纬恒润科技有限公司 | 一种激光点云语义分割方法及装置 |
| CN112232173A (zh) * | 2020-10-12 | 2021-01-15 | 济南博观智能科技有限公司 | 一种行人属性识别方法、深度学习模型、设备及介质 |
| CN113034675A (zh) * | 2021-03-26 | 2021-06-25 | 鹏城实验室 | 一种场景模型构建方法、智能终端及计算机可读存储介质 |
| CN113362223A (zh) * | 2021-05-25 | 2021-09-07 | 重庆邮电大学 | 基于注意力机制和双通道网络的图像超分辨率重建方法 |
| CN113743417A (zh) * | 2021-09-03 | 2021-12-03 | 北京航空航天大学 | 语义分割方法和语义分割装置 |
| CN115170817A (zh) * | 2022-07-21 | 2022-10-11 | 广州大学 | 基于三维人-物网格拓扑增强的人物交互检测方法 |
| CN115191005A (zh) * | 2020-03-05 | 2022-10-14 | 奇跃公司 | 用于从多视图图像进行端到端场景重建的系统和方法 |
| WO2023035548A1 (zh) * | 2021-09-09 | 2023-03-16 | 上海商汤智能科技有限公司 | 目标环境的信息管理方法及相关增强现实的显示方法、电子设备、存储介质、计算机程序和计算机程序产品 |
| CN117496075A (zh) * | 2024-01-02 | 2024-02-02 | 中南大学 | 一种单视图的三维重建方法、系统、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378349A (zh) * | 2019-07-16 | 2019-10-25 | 北京航空航天大学青岛研究院 | Android移动端室内场景三维重建及语义分割方法 |
-
2019
- 2019-10-31 CN CN201911051686.6A patent/CN110827295A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378349A (zh) * | 2019-07-16 | 2019-10-25 | 北京航空航天大学青岛研究院 | Android移动端室内场景三维重建及语义分割方法 |
Non-Patent Citations (4)
| Title |
|---|
| JI HOU等: "3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans", HTTPS://ARXIV.ORG, 29 April 2019 (2019-04-29), pages 1 - 14 * |
| MARTIN GARBADE等: "Semantic Scene Completion from a Single Depth Image", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), vol. 1, pages 1748 - 1749 * |
| SHURAN SONG等: "Two Stream 3D Semantic Scene Completion", ARXIV, pages 1 - 2 * |
| SHURAN SONG等: "Two Stream 3D Semantic Scene Completion", HTTPS://ARXIV:1804.03550V4, pages 1 - 2 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115191005A (zh) * | 2020-03-05 | 2022-10-14 | 奇跃公司 | 用于从多视图图像进行端到端场景重建的系统和方法 |
| CN111476242A (zh) * | 2020-03-31 | 2020-07-31 | 北京经纬恒润科技有限公司 | 一种激光点云语义分割方法及装置 |
| CN111476242B (zh) * | 2020-03-31 | 2023-10-20 | 北京经纬恒润科技股份有限公司 | 一种激光点云语义分割方法及装置 |
| CN112232173A (zh) * | 2020-10-12 | 2021-01-15 | 济南博观智能科技有限公司 | 一种行人属性识别方法、深度学习模型、设备及介质 |
| CN112232173B (zh) * | 2020-10-12 | 2023-04-07 | 济南博观智能科技有限公司 | 一种行人属性识别方法、深度学习模型、设备及介质 |
| CN113034675A (zh) * | 2021-03-26 | 2021-06-25 | 鹏城实验室 | 一种场景模型构建方法、智能终端及计算机可读存储介质 |
| CN113362223A (zh) * | 2021-05-25 | 2021-09-07 | 重庆邮电大学 | 基于注意力机制和双通道网络的图像超分辨率重建方法 |
| CN113362223B (zh) * | 2021-05-25 | 2022-06-24 | 重庆邮电大学 | 基于注意力机制和双通道网络的图像超分辨率重建方法 |
| CN113743417A (zh) * | 2021-09-03 | 2021-12-03 | 北京航空航天大学 | 语义分割方法和语义分割装置 |
| CN113743417B (zh) * | 2021-09-03 | 2024-02-23 | 北京航空航天大学 | 语义分割方法和语义分割装置 |
| WO2023035548A1 (zh) * | 2021-09-09 | 2023-03-16 | 上海商汤智能科技有限公司 | 目标环境的信息管理方法及相关增强现实的显示方法、电子设备、存储介质、计算机程序和计算机程序产品 |
| CN115170817A (zh) * | 2022-07-21 | 2022-10-11 | 广州大学 | 基于三维人-物网格拓扑增强的人物交互检测方法 |
| CN117496075A (zh) * | 2024-01-02 | 2024-02-02 | 中南大学 | 一种单视图的三维重建方法、系统、设备及存储介质 |
| CN117496075B (zh) * | 2024-01-02 | 2024-03-22 | 中南大学 | 一种单视图的三维重建方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827295A (zh) | 基于体素模型与颜色信息耦合的三维语义分割方法 | |
| CN106648103B (zh) | 一种vr头戴设备的手势跟踪方法和vr头戴设备 | |
| CN111340814B (zh) | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 | |
| CN108734194B (zh) | 一种面向虚拟现实的基于单深度图的人体关节点识别方法 | |
| CN111161364B (zh) | 一种针对单视角深度图的实时形状补全和姿态估计方法 | |
| CN115082639B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| CN110443892B (zh) | 一种基于单张图像的三维网格模型生成方法及装置 | |
| CN111862101A (zh) | 一种鸟瞰图编码视角下的3d点云语义分割方法 | |
| CN108648161A (zh) | 非对称核卷积神经网络的双目视觉障碍物检测系统及方法 | |
| CN110633628B (zh) | 基于人工神经网络的rgb图像场景三维模型重建方法 | |
| CN110766746B (zh) | 一种基于联合2d-3d神经网络的3d驾驶员姿态估计方法 | |
| Goncalves et al. | Deepdive: An end-to-end dehazing method using deep learning | |
| CN112785526A (zh) | 一种用于图形处理的三维点云修复方法 | |
| CN112819951A (zh) | 一种基于深度图修复的带遮挡三维人体重建方法 | |
| CN110889868B (zh) | 一种结合梯度和纹理特征的单目图像深度估计方法 | |
| CN113705796A (zh) | 基于epi特征强化的光场深度获取卷积神经网络 | |
| CN114677479A (zh) | 一种基于深度学习的自然景观多视图三维重建方法 | |
| CN113538704A (zh) | 一种基于光源位置绘制虚拟对象光影的方法及设备 | |
| CN116934972B (zh) | 一种基于双流网络的三维人体重建方法 | |
| CN108921852B (zh) | 基于视差与平面拟合的双分支室外非结构化地形分割网络 | |
| CN113808006B (zh) | 一种基于二维图像重建三维网格模型的方法及装置 | |
| CN113034675B (zh) | 一种场景模型构建方法、智能终端及计算机可读存储介质 | |
| CN114758205A (zh) | 用于3d人体姿态估计的多视角特征融合方法及系统 | |
| Cui et al. | 3D reconstruction with spherical cameras | |
| CN113763536A (zh) | 一种基于rgb图像的三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |