CN114758337B - 一种语义实例重建方法、装置、设备及介质 - Google Patents

一种语义实例重建方法、装置、设备及介质 Download PDF

Info

Publication number
CN114758337B
CN114758337B CN202210677281.9A CN202210677281A CN114758337B CN 114758337 B CN114758337 B CN 114758337B CN 202210677281 A CN202210677281 A CN 202210677281A CN 114758337 B CN114758337 B CN 114758337B
Authority
CN
China
Prior art keywords
point cloud
target object
network
target
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210677281.9A
Other languages
English (en)
Other versions
CN114758337A (zh
Inventor
卢丽华
魏辉
李茹杨
赵雅倩
李仁刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Mass Institute Of Information Technology
Original Assignee
Shandong Mass Institute Of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Mass Institute Of Information Technology filed Critical Shandong Mass Institute Of Information Technology
Priority to CN202210677281.9A priority Critical patent/CN114758337B/zh
Publication of CN114758337A publication Critical patent/CN114758337A/zh
Application granted granted Critical
Publication of CN114758337B publication Critical patent/CN114758337B/zh
Priority to PCT/CN2023/078805 priority patent/WO2023241097A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种语义实例重建方法、装置、设备及介质，涉及三维视觉领域，包括：利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对目标场景的三维点云进行处理以得到目标物体的第二特征信息；基于第一特征信息预测目标物体的第一粗糙点云，并基于第一特征信息和第二特征信息预测目标物体的三维检测结果，以基于三维检测结果得到目标物体的第二粗糙点云；基于第一粗糙点云和第二粗糙点云得到目标物体的初始点云，并利用预设形状生成网络对初始点云进行处理得到目标物体的语义实例重建结果。通过结合原始图像的第一特征信息和三维点云的第二特征信息，能够提高语义实例重建结果的质量。

Description

一种语义实例重建方法、装置、设备及介质
技术领域
本发明涉及三维视觉领域，特别涉及一种语义实例重建方法、装置、设备及介质。
背景技术
深度相机等设备扫描三维真实场景时，由于遮挡、视角限制、光线不好等原因，扫描结果存在缺失。语义实例重建任务将三维语义理解与三维重建进行耦合，目的在于修复不完整的场景扫描结果，重建得到物体的完整几何形状、姿态以及类别信息，为三维场景理解提供基础，广泛应用于智能驾驶、机器人、虚拟现实、增强现实等领域。当前的语义实例重建方法大多是基于单模态的，主要可以分为两类：基于RGB图和基于三维点云。在基于RGB图的语义实例重建方法中，利用RGB图进行目标检测和实例重建，例如Mesh R-CNN框架通过改进实例分割框架Mask R-CNN，以增加网格预测分支来生成物体的重建网格，可以用RGB图实现目标检测、实例分割和物体网格预测，但是仅利用RGB图，会产生深度歧义，导致目标定位错误等情况。在基于三维点云的语义实例重建方法中，通过利用点云提供的几何信息可以提高物体检测以及重建的质量。如Najibi等人提出的DOPS模型，首次在点云上实现了语义实例重建，但是将点云进行网格化处理，限制了实例重建的分辨率。此后，Nie等人提出RfD-Net框架，可以直接从原始点云中学习物体的语义信息，并重建物体的几何形状。尽管上述方法取得了不错的效果，但是上述方法依然存在物体位置定位的准确率较低以及语义实例重建结果较低的问题。
综上，在语义实例重建任务中，如何准确定位物体位置并提高语义实例重建结果的质量是目前有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种语义实例重建方法、装置、设备及介质，能够在语义实例重建任务中准确定位物体位置并提高语义实例重建结果的质量。其具体方案如下：
第一方面，本申请公开了一种语义实例重建方法，包括：
利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；
基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；
基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。
可选的，所述利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，包括：
利用Faster R-CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息。
可选的，所述利用Faster R-CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息，包括：
利用Faster R-CNN网络的卷积层对目标场景的原始图像进行特征提取，并通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息。
可选的，所述基于所述第一特征信息预测所述目标物体的第一粗糙点云，包括：
基于所述位置信息和所述语义类别信息，利用点生成网络预测所述目标物体的第一粗糙点云。
可选的，所述语义实例重建方法，还包括：
基于三维目标检测网络和三维物体重建网络构建包括所述第一目标检测网络、所述第二目标检测网络、所述点生成网络和所述预设形状生成网络的语义实例重建网络。
可选的，所述语义实例重建方法，还包括：
构建总损失函数，并利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。
可选的，所述利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息，包括：
利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息。
可选的，所述利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息，包括：
利用VoteNet网络的PointNet网络对所述目标场景的三维点云进行特征提取得到三维点云特征；
基于所述三维点云特征和三维点云坐标，并通过多层感知机网络得到所述目标物体的中心点坐标；
基于所述中心点坐标和和所述三维点云特征，并通过多层感知机网络输出第二预设数量个包括所述目标物体的物体类别信息的三维特征信息。
可选的，所述利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果，包括：
基于所述三维特征信息和所述初始点云得到所述目标物体的第三特征信息；
利用PointNet网络对所述第三特征信息进行特征提取得到第四特征信息，并基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格；
利用移动立方体算法对所述目标占有网格进行处理以得到所述目标物体的语义实例重建结果。
可选的，所述基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格，包括：
基于所述第四特征信息、初始占有网络和所述初始点云，并利用占有网络预测算法中的隐式编码器预测所述目标物体的概率分布；
对所述概率分布进行采样得到隐式变量，基于所述隐式变量和所述初始点云预测所述目标物体的目标占有网格。
可选的，所述构建总损失函数，包括：
基于所述概率分布和所述目标占有网格构建形状损失函数；
基于所述形状损失函数和检测损失函数构建总损失函数；其中，所述检测损失函数包括中心点回归损失函数、航向角损失回归函数、检测框大小交叉熵损失函数、物体语义类别交叉熵损失函数。
可选的，所述基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云，包括：
基于所述第一特征信息和所述第二特征信息，并利用边界框回归网络预测所述目标物体的三维检测边框；
基于所述三维检测边框从所述三维点云中提取所述目标物体的点云信息，以得到第二粗糙点云。
第二方面，本申请公开了一种语义实例重建装置，包括：
特征提取模块，用于利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；
预测模块，用于基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；
重建结果获取模块，用于基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的语义实例重建方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的语义实例重建方法的步骤。
可见，本申请利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。由此可见，本申请获取目标场景的原始图像和三维点云，并利用第一目标检测网络和第二目标检测网络对分别对原始图像和三维点云进行处理，以获取对应的第一特征信息和第二特征信息，然后根据第一特征信息预测目标物体的第一粗糙点云，其次，通过结合第一特征信息和第二特征信息预测目标物体的三维检测结果，能够使得三维检测结果更加准确，也即物体定位更加准确，从而基于三维检测结果得到第二粗糙点云的质量更高，再融合第一粗糙点云和第二粗糙点云得到目标物体的初始点云，以利用预设形状生成网络对该初始点云进行处理以得到语义实例重建结果，如此一来，通过结合原始图像的第一特征信息和三维点云的第二特征信息，能够准确定位物体位置并提高语义实例重建结果的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种语义实例重建方法流程图；
图2为本申请公开的一种具体的语义实例重建方法流程图；
图3为本申请公开的一种具体的语义实例重建方法的实现过程图；
图4为本申请公开的一种具体的语义实例重建方法流程图；
图5为本申请公开的一种具体的语义实例重建方法流程图；
图6为本申请公开的一种具体的语义实例重建方法流程图；
图7为本申请公开的一种语义实例重建结果示意图；
图8为本申请公开的一种语义实例重建装置结构示意图；
图9为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
当前的语义实例重建方法大多是基于单模态的，主要可以分为两类：基于RGB图和基于三维点云。如果仅利用RGB图，会产生深度歧义，导致目标定位错误等情况，而仅利用三维点云进行处理，会限制实例重建的分辨率。为此，本申请实施例公开了一种语义实例重建方法、装置、设备及介质，能够在语义实例重建任务中准确定位物体位置并提高语义实例重建结果的质量。
参见图1所示，本申请实施例公开了一种语义实例重建方法，该方法包括：
步骤S11：利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息。
本实施例中，首先需要获取目标场景的原始图像和三维点云，该原始图像具体可以为RGB图像，并分别利用第一目标检测网络和第二目标检测网络对原始图像和三维点云进行处理，以得到与目标场景中目标物体对应的第一特征信息和第二特征信息。
需要指出的是，本实施例中目标场景的原始图像和三维点云来源于ScanNet数据集，ScanNet数据集一共包含1513个实际场景，同时提供具有实例级标注的场景三维点云。Scan2CAD软件将ShapeNet数据集中物体的三维模型与ScanNet数据集中的物体实例对齐，并提供了物体的重建网格。在具体实施中，对于ScanNet中的每个场景，以其RGB图以及三维点云作为多模态输入，其中三维点云可由数据集直接提供，也可以利用多视角的RGB图和深度图生成。
步骤S12：基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云。
本实施例中，基于第一特征信息预测目标物体的第一粗糙点云，并结合第一特征信息和第二特征信息预测目标物体的三维检测结果，以基于三维检测结果得到目标物体的第二粗糙点云，具体可以为，基于三维检测结果从目标场景的三维点云中定位并提取目标物体的点云，以得到第二粗糙点云。通过结合第一特征信息和第二特征信息预测目标物体的三维检测结果，能够使得三维检测结果更加准确，也即物体定位更加准确，从而基于三维检测结果得到第二粗糙点云的质量更高。
步骤S13：基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。
本实施例中，融合第一粗糙点云和第二粗糙点云以得到目标物体的初始点云，再利用形状生成网络对初始点云进行补全优化，以得到目标物体的语义实例重建结果，也即目标物体的完整形状，最终的语义实例重建结果以重建网格形式表示。
可见，本申请利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。由此可见，本申请获取目标场景的原始图像和三维点云，并利用第一目标检测网络和第二目标检测网络对分别对原始图像和三维点云进行处理，以获取对应的第一特征信息和第二特征信息，然后根据第一特征信息预测目标物体的第一粗糙点云，其次，通过结合第一特征信息和第二特征信息预测目标物体的三维检测结果，能够使得三维检测结果更加准确，也即物体定位更加准确，从而基于三维检测结果得到第二粗糙点云的质量更高，再融合第一粗糙点云和第二粗糙点云得到目标物体的初始点云，以利用预设形状生成网络对该初始点云进行处理以得到语义实例重建结果，如此一来，通过结合原始图像的第一特征信息和三维点云的第二特征信息，能够准确定位物体位置并提高语义实例重建结果的质量。
参见图2和图3所示，本申请实施例公开了一种具体的语义实例重建方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：
步骤S21：利用Faster R-CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息，并利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息。
本实施例中，第一目标检测网络和第二目标检测网络具体可以分别为Faster R-CNN网络和VoteNet网络，也可以为其他的目标检测网络，此处不做限制。具体的，因为目标场景的原始图像也即RGB图像为二维图像，那么将Faster R-CNN网络作为二维目标检测网络，得到的特征信息则为二维特征信息；而三维点云是三维图像，那么将VoteNet网络作为三维目标检测网络，得到的特征信息则为三维特征信息。
进一步的，上述利用Faster R-CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息，包括：利用Faster R-CNN网络的卷积层对目标场景的原始图像进行特征提取，并通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息。可以理解的是，Faster R-CNN网络可以包括图片特征提取模块和候选生成模块，其中，图片特征提取模块，用于利用多个卷积层对目标场景的原始图像进行特征提取，也即提取场景RGB图像的特征表示；候选生成模块，用于通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息，也即利用Softmax层生成物体候选。那么，给定目标场景的RGB图图像，二维目标检测网络会输出K个物体候选，表示为
Figure 402981DEST_PATH_IMAGE001
，其中
Figure 461067DEST_PATH_IMAGE002
为物体的二维特征信息，包含目标物体的位置信息和语义类别信息。
上述利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息，包括：利用VoteNet网络的PointNet网络对所述目标场景的三维点云进行特征提取得到三维点云特征；基于所述三维点云特征和三维点云坐标，并通过多层感知机网络得到所述目标物体的中心点坐标；基于所述中心点坐标和和所述三维点云特征，并通过多层感知机网络输出第二预设数量个包括所述目标物体的物体类别信息的三维特征信息。可以理解的是，VoteNet网络可以包括点云特征提取模块、投票生成模块和候选生成模块。其中，特征提取模块用于利用PointNet网络对目标场景的三维点云进行特征提取得到三维点云特征，也即从输入的三维点云中提取场景的点云特征表示；投票生成模块，用于融合三维点云特征和三维点云坐标，并通过多层感知机网络生成投票，表示物体的中心点坐标。候选生成模块，用于融合中心点坐标和和附近的三维点云特征，利用多层感知机生成物体候选，并预测物体类别信息。那么，给定目标场景的三维点云，三维目标检测网络会输出K个物体候选，表示为
Figure 473760DEST_PATH_IMAGE003
，其中
Figure 806652DEST_PATH_IMAGE004
为物体的三维特征信息。
步骤S22：基于位置信息和语义类别信息，利用点生成网络预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息，并利用边界框回归网络预测所述目标物体的三维检测边框。
本实施例中，根据目标物体的位置信息和语义类别信息，利用点生成网络和多层感知机，预测目标物体的第一粗糙点云，记为
Figure 27549DEST_PATH_IMAGE005
。再基于目标物体的第一特征信息和第二特征信息，也即融合二维特征信息和三维特征信息得到物体的特征表示
Figure 381170DEST_PATH_IMAGE006
；基于此特征，三维边界框回归网络利用多层感知机，预测物体的三维检测边框。
步骤S23：基于所述三维检测边框从所述三维点云中提取所述目标物体的点云信息，以得到第二粗糙点云。
本实施例中，基于目标物体的三维检测边框，实例提取网络从目标场景的三维点云中提取物体的点云信息，并利用多层感知机预测点云信息是否真实属于当前物体，得到目标物体的第二粗糙点云，记为
Figure 54728DEST_PATH_IMAGE007
。
步骤S24：基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。
本实施例中，基于第一粗糙点云和第二粗糙点云得到目标物体的初始点云
Figure 784787DEST_PATH_IMAGE008
。利用预设形状生成网络对初始点云进行处理得到目标物体的语义实例重建结果，也即得到完整的物体形状。
可见，本申请实施例中的第一目标检测网络和第二目标检测网络具体可以分别为Faster R-CNN网络和VoteNet网络，通过利用Faster R-CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息，并利用VoteNet网络对目标场景的三维点云进行处理以得到目标物体的三维特征信息。在基于第一特征信息和第二特征信息预测目标物体的第二粗糙点云时，需要基于第一特征信息和第二特征信息，并利用边界框回归网络预测目标物体的三维检测边框；基于三维检测边框从三维点云中提取目标物体的点云信息，以得到第二粗糙点云。通过利用基于RGB图像的二维目标检测来优化基于三维点云的三维目标检测，能够准确定位并提取场景中的目标物体。
参见图4所示，本申请实施例公开了一种具体的语义实例重建方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体包括：
步骤S31：利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息。
步骤S32：基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云。
步骤S33：基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并基于所述第二特征信息和所述初始点云得到所述目标物体的第三特征信息。
本实施例中，在得到目标物体的初始点云
Figure 352866DEST_PATH_IMAGE003
后，需要再次融合物体的第二特征信息，也即三维特征信息
Figure 877388DEST_PATH_IMAGE003
得到物体的第三特征信息，记为
Figure 366138DEST_PATH_IMAGE009
。
步骤S34：利用PointNet网络对所述第三特征信息进行特征提取得到第四特征信息，并基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格。
本实施例中，利用PointNet网络对第三特征信息进一步进行特征提取得到第四特征信息，记为
Figure 509675DEST_PATH_IMAGE010
。其次，基于第四特征信息利用已有的占有网格预测算法预测目标物体的目标占有网格。具体的，上述基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格，包括：基于所述第四特征信息、初始占有网络和所述初始点云，并利用占有网络预测算法中的隐式编码器预测所述目标物体的概率分布；对所述概率分布进行采样得到隐式变量，基于所述隐式变量和所述初始点云预测所述目标物体的目标占有网格。可以理解的是，将形状生成网络构建为概率生成模型，基于第四特征信息、初始占有网络和初始点云，利用占有网络预测算法中的隐式编码器，预测所述目标物体的概率分布，包括均值和标准差也即
Figure 564218DEST_PATH_IMAGE011
，使得其值近似标准正态分布，从得到的分布
Figure 400587DEST_PATH_IMAGE011
中采样得到隐式变量Z，并融合物体的初始点云，预测物体的目标占有网格。
步骤S35：利用移动立方体算法对所述目标占有网格进行处理以得到所述目标物体的语义实例重建结果。
本实施例中，利用移动立方体算法从目标物体的目标占有网格中生成物体的语义实例重建结果，也即重建网格表面。其中，初始时设置隐式变量Z=0。
其中，关于上述步骤S31和S32更加具体的处理过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请实施例中在利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果时，具体为基于三维特征信息和初始点云得到目标物体的第三特征信息；利用PointNet网络对第三特征信息进行特征提取得到第四特征信息，并基于第四特征信息利用占有网格预测算法预测目标物体的目标占有网格；利用移动立方体算法对目标占有网格进行处理以得到目标物体的语义实例重建结果。也即，通过利用形状生成网络对得到的初始点云进一步进行补全优化，能够重建物体的完整形状，通过重建网格表面表示。
参见图5所示，本申请实施例的语义实例重建方法，还包括：
步骤S41：基于三维目标检测网络和三维物体重建网络构建包括所述第一目标检测网络、所述第二目标检测网络、所述点生成网络和所述预设形状生成网络的语义实例重建网络。
本实施例中，可以理解的是，语义实例重建网络包括三维目标检测网络和三维物体重建网络两个部分，而三维目标检测网络包括但不限于第一目标检测网络和第二目标检测网络，三维物体重建网络包括但不限于点生成网络和预设形状生成网络。也即参见图6所示，将场景的三维点云和场景的RGB图输入语义实例重建网络中的三维目标检测网络和三维物体重建网络，分别进行多模态三维目标检测和多模态三维物体重建，最终输出语义实例重建结果，也即完整的物体形状。
步骤S42：构建总损失函数，并利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。
本实施例中，需要构建总损失函数，并利用总损失函数对语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。进一步的，上述构建总损失函数，包括：基于所述概率分布和所述目标占有网格构建形状损失函数；基于所述形状损失函数和检测损失函数构建总损失函数；其中，所述检测损失函数包括中心点回归损失函数、航向角损失回归函数、检测框大小交叉熵损失函数、物体语义类别交叉熵损失函数。需要指出的是，总损失函数包括两个部分，分别是检测损失函数和形状损失函数；其中，检测损失函数
Figure 173371DEST_PATH_IMAGE012
采用目标检测任务中常见的形式，包括：物体中心点的L 1回归损失L c 、航向角L 1回归损失
Figure 855020DEST_PATH_IMAGE013
、检测框大小交叉熵损失L s、物体语义类别交叉熵损失L z ；也即
Figure 29649DEST_PATH_IMAGE014
。形状损失函数是基于概率分布和目标占有网格构建的，也即对于每个物体实例，形状损失函数的计算公式为：
Figure 535454DEST_PATH_IMAGE015
；
其中，
Figure 795534DEST_PATH_IMAGE016
表示形状损失函数，
Figure 280874DEST_PATH_IMAGE017
和KL分别表示交叉熵和KL散度，
Figure 716534DEST_PATH_IMAGE018
和
Figure 19339DEST_PATH_IMAGE019
分别表示第i个物体的第j个点的预测占有网格和真值占有网格，预测占有网格也即上述预测的目标占有网格，真值占有网格指数据集提供的真实的占有网格；
Figure 376503DEST_PATH_IMAGE020
和
Figure 993429DEST_PATH_IMAGE021
分别表示预测的概率分布和标准正太分布；K和M分别表示初始点云的维度信息。因此，总损失函数为：
Figure 877071DEST_PATH_IMAGE022
。
构建好总损失函数后，则利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。具体的训练过程为，首先分别在给定目标场景的原始图像和三维点云上，预训练二维目标检测网络和三维目标检测网络；固定网络参数，训练语义实例重建网络时，二维目标检测网络和三维目标检测网络不再训练。将Scan2CAD提供的物体重建网格作为监督信息训练网络，利用梯度下降最小化的总损失函数
Figure 521417DEST_PATH_IMAGE023
训练语义实例重建网络，预测完整的三维物体形状。当网络的训练误差达到一个指定的较小值或者满足预设迭代次数时，训练结束，得到训练后语义实例重建网络。
进一步的，将测试集输入训练后语义实例重建网络，以测试网络。具体的，将ScanNet测试集中某个场景的RGB图和三维点云输入到已训练好的语义实例重建网络中，输出语义实例重建结果，以重建网格形式表示。图7为本申请公开的语义实例重建结果示意图，图7中第一列是语义实例重建结果，第二列是对应的真值。
可见，本申请实施例中的语义实例重建网络包括三维目标检测网络和三维物体重建网络两个部分，因此提供了一种多模态的两阶段语义实例重建方法，而三维目标检测网络又包括第一目标检测网络、第二目标检测网络等，三维物体重建网络包括点生成网络、预设形状生成网络等，能够通过利用场景的RGB图和三维点云所提供的二维语义信息和三维几何信息，提高语义实例重建的质量。并且在构建总损失函数时是基于检测损失函数和形状损失函数构建，以利用构建好的总损失函数对语义实例重建网络进行训练，以得到训练后语义实例重建网络。
参见图8所示，本申请实施例公开了一种语义实例重建装置，该装置包括：
特征提取模块11，用于利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；
预测模块12，用于基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；
重建结果获取模块13，用于基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。
可见，本申请利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果。由此可见，本申请获取目标场景的原始图像和三维点云，并利用第一目标检测网络和第二目标检测网络对分别对原始图像和三维点云进行处理，以获取对应的第一特征信息和第二特征信息，然后根据第一特征信息预测目标物体的第一粗糙点云，其次，通过结合第一特征信息和第二特征信息预测目标物体的三维检测结果，能够使得三维检测结果更加准确，也即物体定位更加准确，从而基于三维检测结果得到第二粗糙点云的质量更高，再融合第一粗糙点云和第二粗糙点云得到目标物体的初始点云，以利用预设形状生成网络对该初始点云进行处理以得到语义实例重建结果，如此一来，通过结合原始图像的第一特征信息和三维点云的第二特征信息，能够准确定位物体位置并提高语义实例重建结果的质量。
在一些具体实施例中，所述特征提取模块11，具体可以包括：
第一特征提取子模块，用于利用Faster R-CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息。
在一些具体实施例中，所述第一特征提取子模块，具体可以包括：
二维特征提取单元，用于利用Faster R-CNN网络的卷积层对目标场景的原始图像进行特征提取，并通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息。
在一些具体实施例中，所述预测模块12，具体可以包括：
第一粗糙点云预测单元，用于基于所述位置信息和所述语义类别信息，利用点生成网络预测所述目标物体的第一粗糙点云。
在一些具体实施例中，所述语义实例重建装置，还可以包括：
网络构建模块，用于基于三维目标检测网络和三维物体重建网络构建包括所述第一目标检测网络、所述第二目标检测网络、所述点生成网络和所述预设形状生成网络的语义实例重建网络。
在一些具体实施例中，所述语义实例重建装置，还可以包括：
网络训练模块，用于构建总损失函数，并利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。
在一些具体实施例中，所述特征提取模块11，具体可以包括：
第二特征提取子模块，用于利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息。
在一些具体实施例中，所述第二特征提取子模块，具体可以包括：
三维点云特征提取单元，用于利用VoteNet网络的PointNet网络对所述目标场景的三维点云进行特征提取得到三维点云特征；
中心点坐标获取单元，用于基于所述三维点云特征和三维点云坐标，并通过多层感知机网络得到所述目标物体的中心点坐标；
三维特征提取单元，用于基于所述中心点坐标和和所述三维点云特征，并通过多层感知机网络输出第二预设数量个包括所述目标物体的物体类别信息的三维特征信息。
在一些具体实施例中，所述重建结果获取模块13，具体可以包括：
第三特征信息获取单元，用于基于所述三维特征信息和所述初始点云得到所述目标物体的第三特征信息；
占有网格预测子模块，用于利用PointNet网络对所述第三特征信息进行特征提取得到第四特征信息，并基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格；
占有网格处理单元，用于利用移动立方体算法对所述目标占有网格进行处理以得到所述目标物体的语义实例重建结果。
在一些具体实施例中，所述占有网格预测子模块，具体可以包括：
概率分布预测单元，用于基于所述第四特征信息、初始占有网络和所述初始点云，并利用占有网络预测算法中的隐式编码器预测所述目标物体的概率分布；
预测单元，用于对所述概率分布进行采样得到隐式变量，基于所述隐式变量和所述初始点云预测所述目标物体的目标占有网格。
在一些具体实施例中，所述网络训练模块，具体可以包括：
形状损失函数构建单元，用于基于所述概率分布和所述目标占有网格构建形状损失函数；
总损失函数构建单元，用于基于所述形状损失函数和检测损失函数构建总损失函数；其中，所述检测损失函数包括中心点回归损失函数、航向角损失回归函数、检测框大小交叉熵损失函数、物体语义类别交叉熵损失函数。
在一些具体实施例中，所述预测模块12，具体可以包括：
三维检测边框预测单元，用于基于所述第一特征信息和所述第二特征信息，并利用边界框回归网络预测所述目标物体的三维检测边框；
第二粗糙点云获取单元，用于基于所述三维检测边框从所述三维点云中提取所述目标物体的点云信息，以得到第二粗糙点云。
图9为本申请实施例提供的一种电子设备的结构示意图。具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的由电子设备执行的语义实例重建方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的语义实例重建方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据，也可以包括由自身输入输出接口25采集到的数据等。
进一步的，本申请实施例还公开了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的由语义实例重建过程中执行的方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种语义实例重建方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种语义实例重建方法，其特征在于，包括：
利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；
基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；
基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果；
其中，所述利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息，包括：
利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息；
并且，所述利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果，包括：
基于所述三维特征信息和所述初始点云得到所述目标物体的第三特征信息；
利用PointNet网络对所述第三特征信息进行特征提取得到第四特征信息，并基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格；
利用移动立方体算法对所述目标占有网格进行处理以得到所述目标物体的语义实例重建结果。
2.根据权利要求1所述的语义实例重建方法，其特征在于，所述利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，包括：
利用Faster R-CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息。
3.根据权利要求2所述的语义实例重建方法，其特征在于，所述利用Faster R-CNN网络对目标场景的原始图像进行处理以得到目标物体的二维特征信息，包括：
利用Faster R-CNN网络的卷积层对目标场景的原始图像进行特征提取，并通过激活函数输出第一预设数量个包括目标物体的位置信息和语义类别信息的二维特征信息。
4.根据权利要求3所述的语义实例重建方法，其特征在于，所述基于所述第一特征信息预测所述目标物体的第一粗糙点云，包括：
基于所述位置信息和所述语义类别信息，利用点生成网络预测所述目标物体的第一粗糙点云。
5.根据权利要求4所述的语义实例重建方法，其特征在于，还包括：
基于三维目标检测网络和三维物体重建网络构建包括所述第一目标检测网络、所述第二目标检测网络、所述点生成网络和所述预设形状生成网络的语义实例重建网络。
6.根据权利要求5所述的语义实例重建方法，其特征在于，还包括：
构建总损失函数，并利用所述总损失函数对所述语义实例重建网络进行训练，直到满足预设迭代次数，以得到训练后语义实例重建网络。
7.根据权利要求1所述的语义实例重建方法，其特征在于，所述利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息，包括：
利用VoteNet网络的PointNet网络对所述目标场景的三维点云进行特征提取得到三维点云特征；
基于所述三维点云特征和三维点云坐标，并通过多层感知机网络得到所述目标物体的中心点坐标；
基于所述中心点坐标和所述三维点云特征，并通过多层感知机网络输出第二预设数量个包括所述目标物体的物体类别信息的三维特征信息。
8.根据权利要求6所述的语义实例重建方法，其特征在于，所述基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格，包括：
基于所述第四特征信息、初始占有网络和所述初始点云，并利用占有网络预测算法中的隐式编码器预测所述目标物体的概率分布；
对所述概率分布进行采样得到隐式变量，基于所述隐式变量和所述初始点云预测所述目标物体的目标占有网格。
9.根据权利要求8所述的语义实例重建方法，其特征在于，所述构建总损失函数，包括：
基于所述概率分布和所述目标占有网格构建形状损失函数；
基于所述形状损失函数和检测损失函数构建总损失函数；其中，所述检测损失函数包括中心点回归损失函数、航向角损失回归函数、检测框大小交叉熵损失函数、物体语义类别交叉熵损失函数。
10.根据权利要求1至9任一项所述的语义实例重建方法，其特征在于，所述基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云，包括：
基于所述第一特征信息和所述第二特征信息，并利用边界框回归网络预测所述目标物体的三维检测边框；
基于所述三维检测边框从所述三维点云中提取所述目标物体的点云信息，以得到第二粗糙点云。
11.一种语义实例重建装置，其特征在于，包括：
特征提取模块，用于利用第一目标检测网络对目标场景的原始图像进行处理以得到目标物体的第一特征信息，并利用第二目标检测网络对所述目标场景的三维点云进行处理以得到所述目标物体的第二特征信息；
预测模块，用于基于所述第一特征信息预测所述目标物体的第一粗糙点云，并基于所述第一特征信息和所述第二特征信息预测所述目标物体的三维检测结果，以基于所述三维检测结果得到所述目标物体的第二粗糙点云；
重建结果获取模块，用于基于所述第一粗糙点云和所述第二粗糙点云得到所述目标物体的初始点云，并利用预设形状生成网络对所述初始点云进行处理得到所述目标物体的语义实例重建结果；
其中，所述特征提取模块，具体用于：利用VoteNet网络对所述目标场景的三维点云进行处理以得到所述目标物体的三维特征信息；
并且，所述重建结果获取模块，具体用于：基于所述三维特征信息和所述初始点云得到所述目标物体的第三特征信息；利用PointNet网络对所述第三特征信息进行特征提取得到第四特征信息，并基于所述第四特征信息利用占有网格预测算法预测所述目标物体的目标占有网格；利用移动立方体算法对所述目标占有网格进行处理以得到所述目标物体的语义实例重建结果。
12.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至10任一项所述的语义实例重建方法的步骤。
13.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的语义实例重建方法的步骤。
CN202210677281.9A 2022-06-16 2022-06-16 一种语义实例重建方法、装置、设备及介质 Active CN114758337B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210677281.9A CN114758337B (zh) 2022-06-16 2022-06-16 一种语义实例重建方法、装置、设备及介质
PCT/CN2023/078805 WO2023241097A1 (zh) 2022-06-16 2023-02-28 一种语义实例重建方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210677281.9A CN114758337B (zh) 2022-06-16 2022-06-16 一种语义实例重建方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114758337A CN114758337A (zh) 2022-07-15
CN114758337B true CN114758337B (zh) 2022-10-28

Family

ID=82336871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210677281.9A Active CN114758337B (zh) 2022-06-16 2022-06-16 一种语义实例重建方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114758337B (zh)
WO (1) WO2023241097A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758337B (zh) * 2022-06-16 2022-10-28 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质
CN115423938A (zh) * 2022-08-17 2022-12-02 江西科骏实业有限公司 一种基于语义识别的三维模型重建方法及系统
CN117475089B (zh) * 2023-12-27 2024-03-29 浪潮电子信息产业股份有限公司 基于预训练语言模型的三维场景生成方法及相关组件
CN117808987B (zh) * 2024-02-28 2024-05-14 苏州元脑智能科技有限公司 室内场景三维重建方法、装置、电子设备及存储介质
CN117953167B (zh) * 2024-03-27 2024-05-28 贵州道坦坦科技股份有限公司 基于点云数据的高速公路附属设施建模方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN113450408A (zh) * 2021-06-23 2021-09-28 中国人民解放军63653部队 一种基于深度相机的非规则物体位姿估计方法及装置
CN113468950A (zh) * 2021-05-12 2021-10-01 东风汽车股份有限公司 一种基于深度学习的无人驾驶场景下的多目标跟踪方法
WO2022016867A1 (zh) * 2020-07-20 2022-01-27 浙江商汤科技开发有限公司 三维网格模型的重建方法及其装置、设备、存储介质
CN114140672A (zh) * 2021-11-19 2022-03-04 江苏大学 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244504B2 (en) * 2019-05-03 2022-02-08 Facebook Technologies, Llc Semantic fusion
CN114419249A (zh) * 2021-12-24 2022-04-29 珠海剑心互动娱乐有限公司 物体三维形状重建方法、装置、设备及存储介质
CN114758337B (zh) * 2022-06-16 2022-10-28 山东海量信息技术研究院 一种语义实例重建方法、装置、设备及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022016867A1 (zh) * 2020-07-20 2022-01-27 浙江商汤科技开发有限公司 三维网格模型的重建方法及其装置、设备、存储介质
CN112560972A (zh) * 2020-12-21 2021-03-26 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN113468950A (zh) * 2021-05-12 2021-10-01 东风汽车股份有限公司 一种基于深度学习的无人驾驶场景下的多目标跟踪方法
CN113450408A (zh) * 2021-06-23 2021-09-28 中国人民解放军63653部队 一种基于深度相机的非规则物体位姿估计方法及装置
CN114140672A (zh) * 2021-11-19 2022-03-04 江苏大学 一种应用于雨雪天气场景下多传感器数据融合的目标检测网络系统及方法

Also Published As

Publication number Publication date
WO2023241097A1 (zh) 2023-12-21
CN114758337A (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
KR102126724B1 (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
Chen et al. A methodology for automated segmentation and reconstruction of urban 3-D buildings from ALS point clouds
CN113096234B (zh) 利用多张彩色图片生成三维网格模型的方法及装置
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN113256778B (zh) 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
CN111753698A (zh) 一种多模态三维点云分割系统和方法
CN114511778A (zh) 图像处理方法及装置
KR20220081261A (ko) 객체 포즈 추정 방법 및 장치
US11544898B2 (en) Method, computer device and storage medium for real-time urban scene reconstruction
CN113724388B (zh) 高精地图的生成方法、装置、设备以及存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN115546422A (zh) 一种建筑物的三维模型构建方法、系统和电子设备
CN112580428A (zh) 一种配电网设计方法及装置
Yang et al. Automated semantics and topology representation of residential-building space using floor-plan raster maps
CN111583417B (zh) 一种图像语义和场景几何联合约束的室内vr场景构建的方法、装置、电子设备和介质
CN116258756B (zh) 一种自监督单目深度估计方法及系统
CN116630912A (zh) 三维语义占用预测方法、系统、设备、介质及产品
CN113628349B (zh) 基于场景内容自适应的ar导航方法、设备及可读存储介质
CN115187736A (zh) 目标地图生成方法以及装置、ar地图生成方法以及装置
CN113514053A (zh) 生成样本图像对的方法、装置和更新高精地图的方法
CN113610856A (zh) 训练图像分割模型和图像分割的方法和装置
Li A KD-tree and random sample consensus-based 3D reconstruction model for 2D sports stadium images
CN117132744B (zh) 虚拟场景的构建方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant